딥러닝으로 슈뢰딩거 방정식 풀기: 신경망 파동함수와 트랜스포머

이 강연은 딥러닝으로 다체 양자 문제, 특히 슈뢰딩거 방정식의 바닥 상태 에너지를 푸는 방법을 다룬다. 입자 수가 늘수록 복잡도가 기하급수적으로 커지는 문제를 신경망 파동함수로 줄이는 접근과, 페르미 넷·사이포머 구조, 기존 방법과의 정확도 비교가 핵심이다. 제공된 자막은 약 28분 지점까지여서 그 이후의 내용은 포함되지 않는다.

⏱ 04:13발표자 데이비드 하우는 스탠퍼드에서 물리학을 전공하고 컬럼비아에서 신경과학 박사 학위를 받았으며, 이후 구글 딥마인드에서 AI와 머신러닝, 물리학을 아우르는 연구를 해 왔다고 소개된다. 강연은 딥러닝으로 다체 슈뢰딩거 방정식을 푸는 방법을 주제로 하며, 'Attention is All You Need' 논문에서 착안한 제목을 달았다.

⏱ 05:51강연자는 물리학과 AI가 모두 자기 분야를 잘 안다고 여기기 쉬워 두 그룹이 서로를 이해하지 못하는 경우가 많다고 지적한다. 이 연구는 머신러닝 연구자와 양자화학자, 양자물리학자, 물질 이론가가 함께 만든 결과이며, 발표자 본인에게도 물질물리학 박사 과정을 밟는 듯한 학습 과정이었다고 말한다.

⏱ 07:28여러 입자의 파동함수는 입자 수가 늘수록 고차원 함수가 되어, 정확히 풀려면 지수적 크기의 격자가 필요하다. 이는 통계물리의 볼츠만 분포나 고차원 함수를 맞추는 머신러닝에서도 나타나는 차원의 저주와 같은 문제다. 강연자는 단백질 접힘의 레빈탈 역설과 바둑의 방대한 상태 공간을 예로 들며, 심층 신경망이 이런 탐색 공간을 다룰 수 있는 범위로 줄여 온 사례를 설명한다.

그렇다고 모든 문제가 해결 가능한 것은 아니며, NP 완전 문제처럼 본질적으로 어려운 문제도 있다고 덧붙인다. 그는 신경망이 강력한 고차원 함수 근사기로서 해결 가능한 영역의 경계를 넓혀 줄 수 있다는 점이 연구의 동기라고 정리한다.

⏱ 11:01트랜스포머는 원래 기계 번역을 위해 개발되었으나, 셀프 어텐션으로 토큰 사이의 상관관계를 학습하는 구조가 언어 생성, 컴퓨터 비전, 단백질 구조 예측 등으로 빠르게 퍼졌다. 알파폴드의 에보포머 블록도 어텐션을 변형한 구조이며, 이미지를 패치 토큰으로 바꾸는 비전 트랜스포머도 같은 원리를 따른다.

강연자는 양자 물리 문제도 이런 구조로 바꿔 풀 수 있는지 질문을 던진다. 그 답이 어느 정도 그렇다는 것이 이후 논의의 출발점이 된다.

⏱ 12:32딥러닝으로 슈뢰딩거 방정식을 푸는 대표적 방법은 변분 몬테카를로로, 신경망으로 파동함수를 매개변수화하고 확률적 경사 하강으로 에너지를 최소화한다. 전통적 계산 방법은 평균장 방식처럼 빠르지만 부정확한 것부터 전체 구성 상호작용처럼 정확하지만 팩토리얼 규모로 느린 것까지 정확도와 속도의 파레토 프런티어를 이룬다.

강연자는 신경망 변분 몬테카를로가 수 제곱 규모로 확장되면서 골드 스탠다드 방법에 가까운 정확도를 보일 수 있다고 주장한다. 수소 사슬 사례에서 기존 평균장 방법은 오차가 컸지만 신경망 방식은 골드 스탠다드와 대체로 일치하는 결과를 보였다고 설명한다.

⏱ 17:30해밀토니안은 운동에너지 항과 위치에너지 항의 합이며, 운동에너지는 파동함수의 라플라시안, 즉 2계 도함수로 계산된다. 그래서 자동 미분 기능을 갖춘 JAX나 PyTorch로 구현할 수 있다. 에너지는 미지의 분포에서 샘플링한 몬테카를로 기댓값으로 추정하며, 분포를 파동함수의 제곱으로 잡으면 에너지와 기울기의 비편향 추정이 가능해진다.

이때 나오는 국소 에너지는 고유 상태에서 상수가 되므로, 분산이 0에 가까울수록 기울기 잡음이 줄어 높은 정확도로 수렴한다는 장점이 있다. 강연자는 이 성질이 화학적 정확도와 응집물질의 미세한 에너지 차이를 다루는 데 중요하다고 설명한다.

⏱ 22:09전자는 페르미온이므로 파동함수는 입자 교환에 대해 반대칭이어야 한다. 강연자는 슬레이터 행렬식을 신경망 출력으로 만들어 이 조건을 맞추는 방식을 설명하며, 이를 페르미 넷이라 부른다. 신경망은 단일 전자 특징과 전자 간 특징을 나란히 처리하고 층마다 결합한다. 활성화 함수로는 라플라시안 계산을 위해 탄젠트처럼 매끄러운 함수를 쓰고 ReLU는 쓰지 않는다.

이후 셀프 어텐션을 도입한 사이포머는 전자 쌍의 상관성에 따라 중요한 전자에만 집중하게 한다. 전자 수가 늘수록 이 구조가 기존 방법보다 더 큰 에너지 차이를 만든다는 결과가 제시된다. 다만 자막은 여기까지만 제공되어 이후 스케일링 분석은 확인할 수 없다.