가중치 공간 프로그래밍: LLM이 신경망 가중치를 직접 작성하는 개념

발표자는 MIT CSAIL 연구로 소개된 '가중치 공간 프로그래밍'을 설명합니다. 경사 하강법으로 학습하는 대신 대규모 언어 모델이 신경망의 구조와 가중치를 직접 작성하고, 이를 진단·수정에 활용할 수 있다는 것이 핵심입니다. 다만 수학 능력이 오르는 대신 다른 기능이 떨어지는 파괴적 망각 위험이 있으며, 결과는 아직 검증 중이라고 강조합니다.

⏱ 00:00발표자는 이틀 전 X(트위터) 피드에서 본 'MIT CSAIL 연구 그룹의 가중치 공간 프로그래밍' 개념을 소개하며 시작합니다. 발표자는 이 논문이 해석 가능성 연구와 신경망을 보는 방식에 큰 영향을 줄 수 있다고 평가하지만, 장단점을 함께 짚고 주장을 과장하지 않도록 신중해야 한다고 강조합니다.

또한 소셜 미디어에서 평가가 엇갈린다는 점을 언급하며, 본격적인 설명 전에 기본 개념부터 차근차근 짚겠다고 예고합니다.

⏱ 01:19전통적인 신경망은 입력층, 여러 은닉층, 출력층이 밀집 연결된 구조이며, 각 뉴런은 입력마다 상대적 중요도를 가중치로 부여합니다. 가중치는 학습 전에는 고정되지 않은 파라미터이며, 직선 Y=AX+B에서 A와 B가 그 예입니다.

발표자는 신경망을 수많은 가중치로 이루어진 거대한 중첩 함수로 볼 수 있다고 설명하며, 일반적인 신경망이 백만 개에서 10억 개 정도의 가중치를 가질 수 있다고 말합니다.

⏱ 05:45예시로 텍스트에 올바른 법적 인용이 포함되었는지 예/아니오로 답하는 분류 신경망을 듭니다. 기존 방식은 텍스트를 임베딩 벡터로 표현하고, 출력층에 뉴런 두 개를 둔 밀집 신경망을 만든 뒤, 무작위로 초기화된 가중치를 경사 하강법으로 반복 갱신해 손실을 줄이는 것입니다.

경사 하강법은 손실이 가장 가파르게 줄어드는 방향으로 모든 가중치를 조금씩 바꾸는 과정이며, 발표자는 이것이 딥러닝의 핵심이라고 설명합니다.

⏱ 09:00발표자가 제시한 핵심 아이디어는 경사 하강법 학습을 생략하고, 강력한 대규모 언어 모델에게 분류 신경망 자체를 직접 작성하도록 요청하는 것입니다. 이때 모델은 레이어 수와 뉴런 수, 가중치 조합까지 스스로 결정하며, 발표자는 이를 거의 무에서 유를 만드는 것에 비유합니다.

다만 모델이 어떻게 적절한 가중치를 찾아내는지는 발표자도 정확히 알지 못한다고 인정합니다. 발표자는 한 연구자의 실험에서 이렇게 만든 네트워크가 학습으로 만든 신경망보다 나은 성능을 보였고 테스트 정확도가 90~95%였다고 소개하지만, 이는 발표자가 전한 주장이며 독립적으로 검증된 결과로 보기는 어렵습니다.

⏱ 12:00발표자는 블랙박스로 여겨지던 신경망을 가중치 수준에서 직접 다루게 되면서 해석 가능성 연구가 새 국면을 맞았다고 봅니다. 하나의 가중치가 여러 의미를 가지는 다의성 개념을 짚고, 뉴런이 특정 개념을 표현하는 관문 역할을 한다는 기존 관찰과 연결해 설명합니다.

또한 강력한 모델이 다른 모델의 가중치를 들여다보고 수학 능력을 떨어뜨리는 신경 세포 군집을 진단한 뒤, 이를 조정해 수학 성능을 높였다는 사례를 소개합니다. 발표자는 이를 유전자 편집에 비유하며, 이런 편집이 모델을 재귀적으로 개선하는 가능성을 열 수 있다고 말합니다.

⏱ 23:00발표자는 수학 능력을 높이는 수정이 다른 기능을 해칠 수 있다는 우려를 소개하며, 이를 파괴적 망각이라고 부릅니다. 자신이 이틀 동안 수행한 테스트에서는 수학 성능이 올랐지만, 같은 네트워크 부분이 담당하던 값을 복사하는 작업 성능은 떨어졌다고 보고합니다.

발표자는 이것이 공짜 점심은 없다는 사실을 보여준다고 정리하면서도, 결과가 아직 충분히 검증되지 않았고 연구가 진행 중이라 확대 해석을 경계합니다. 이후 이 주제를 웨비나에서 더 다루겠다는 계획을 밝히며 마무리합니다.