가중치 공간 프로그래밍 개요: LLM이 신경망 가중치를 직접 쓸 수 있을까

가중치 공간 프로그래밍은 LLM이 신경망의 가중치를 분석하고 직접 작성할 수 있는지 살펴보는 연구 방향입니다. 출력 한계를 0 초기화와 부분 업데이트로 피하고, 게임과 언어 모델 실험에서 엇갈린 결과가 나왔다는 점을 정리합니다.

⏱ 00:00게임 최적화 같은 문제에서는 보통 알고리즘을 직접 코드로 짜거나 신경망을 학습시킵니다. 발표자는 학습 과정이 많은 시간과 컴퓨팅 자원을 요구한다는 점을 짚고, 학습 없이 LLM이 신경망의 가중치를 직접 만들어 낼 수 있다면 어떨지 묻습니다.

이것이 가중치 공간 프로그래밍이라는 아이디어이며, 1990년대 초에도 제안되었습니다. 최근 LLM이 모델 가중치를 분석하는 것만으로 신경망을 읽고 쓸 수 있다는 초기 증거가 나오면서 다시 주목받고 있습니다.

⏱ 02:00대부분의 LLM은 한 번에 출력할 수 있는 토큰 수가 제한되어 있습니다. 그래서 파라미터가 2만 개인 작은 모델이라도 소수점 가중치를 전부 토큰으로 적기 어렵습니다. 연구진은 모든 가중치를 0으로 시작하고, 모델이 업데이트할 영역만 골라 값을 쓰게 했습니다. 나머지는 0으로 남겨 두는 방식입니다.

출력 형식은 정해진 규칙으로 해석되어 해당 범위의 가중치 업데이트로 반영됩니다.

⏱ 03:04Asterix 게임 예시에서 Astra는 빨간 적을 피하고 노란 보상을 모으려면 화면 속 객체가 다가오는지 지나갔는지를 감지하는 부분을 고쳐야 한다는 점을 알고 있었습니다. 무작위로 값을 바꾼 것이 아니라 각 가중치가 하는 역할을 짐작한 뒤 필요한 지식을 가중치 형태로 주입한 것입니다.

연구진은 모델이 인터넷 검색이나 시행착오 실험으로 답을 찾지 못하도록 도구 사용도 제한했습니다.

⏱ 06:44Astra는 자신의 아키텍처와 입력·출력 레이어에 접근할 수 있어서, 격자 게임에서 입력 채널이 어떤 의미를 갖는지 알고 특정 채널의 가중치만 고칠 수 있었습니다. 발표자는 이것이 인상적이지만, 경사 하강법 없이 추론을 숫자로 바꾸는 과정 자체가 어려운 작업이라고 평가합니다. 다만 모델이 구조 정보를 이미 알고 있는 조건이라서 일반화 가능성은 따로 확인해야 한다고 강조합니다.

디퓨전 모델의 가중치만 보고 생성될 도형을 70~80% 신뢰도로 맞힌 사례도 소개됩니다.

⏱ 08:07입력·출력 레이어를 제거하고 은닉층만 보게 한 실험에서는 720만 파라미터 언어 모델이 파이썬 데이터로 학습됐는지 영어 데이터로 학습됐는지 맞혔지만 신뢰도는 낮았습니다. 2억 7천만 파라미터 Gemma 3 모델 실험에서는 아첨 성향을 가중치만으로 감지하지 못했고, 수학 능력 향상도 기대만큼 나오지 않았습니다.

반면 0.8B 규모 모델에서는 가중치의 아주 작은 부분만 고쳐 알려진 버그를 해결했고, 수학 점수가 7.9%에서 48.1%로 올랐습니다. 발표자는 이를 전체 모델 중 필요한 부분만 채워 넣는 인페인팅에 비유합니다.

⏱ 09:52발표자는 가중치 공간 프로그래밍이 아직 매우 실험적인 단계이지만, 모델 가중치를 직접 들여다보며 새로운 능력과 통찰을 얻는 초기 단계에 와 있다고 정리합니다. 또한 자신이 만든 Weight Space Bench라는 간단한 오픈 벤치마크로 여러 최신 모델의 능력을 측정했다고 밝히며 결과를 보여 줍니다.

영상 중간에는 데이터 수집용 프록시 서비스 광고가 있었으며, 이는 본문 내용과 별개입니다.