LLM으로 신경망 가중치를 직접 프로그래밍하기

MIT CSAIL 논문을 바탕으로, LLM이 신경망의 원시 가중치를 읽고 자연어 지시로 직접 수정하거나 처음부터 작성할 수 있는지 살펴보는 강의다. 가중치를 읽어 게임과 모델 특성을 식별한 실험, 성공률 0%인 정책을 3.5% 수정으로 고친 사례, 반복 루프에 빠진 Qwen3.5의 수학 성능을 0.016% 편집으로 끌어올린 실험을 차례로 정리한다. 기울기 계산 없이 이뤄졌다는 점이 핵심 주장이다.

⏱ 00:00신경망의 원시 부동소수점 가중치를 자연어로 직접 편집해 LLM의 사고 방식을 바꿀 수 있을까? 영상은 이 질문으로 시작하며, 이를 '가중치 공간 프로그래밍(Weight-Space Programming)'이라 부르고 2026년 11월 2일 발표된 MIT CSAIL 논문을 소개한다.

도입부의 두 사례는 다음과 같다. 첫째, 약 1만 7천 개의 가중치를 텍스트로 넣고 GPT-6 Astra에게 이 신경망이 무엇을 하는지 묻자 도구나 순전파 없이 추론해 특정 비디오 게임을 99% 확신도로 맞혔다고 한다. 둘째, 800M 파라미터 언어 모델의 가중치 일부(0.016%)를 손으로 고쳐 수학 벤치마크 점수를 7.9%에서 48.1%로 끌어올렸다고 소개한다. 역전파, 학습 데이터, 옵티마이저 없이 이루어졌다는 점이 강조된다.

⏱ 02:02지난 몇 년간 LLM은 주로 모델 주변의 텍스트 산출물, 즉 프롬프트를 최적화하는 데 쓰였다. DSPy와 GEPA는 반성적 프롬프트 진화가 강화학습보다 나을 수 있음을 보였고, Meta-Harness는 모델을 감싸는 실행 래퍼 전체를 최적화했다. 이후 Karpathy의 autoresearch 등은 학습 스크립트와 하이퍼파라미터 스케줄까지 다시 쓰는 단계로 나아갔다.

그렇다면 왜 학습 스크립트의 경계에서 멈췄을까? 영상은 텍스트는 미분할 수 없지만 신경망 가중치는 미분할 수 있다는 전제 때문이라고 설명한다. 그 결과 SGD, Adam, Muon 같은 기억 없는 기호적 규칙이 파라미터를 맡아 왔고, 이들은 실패 원인을 이해하지 못한 채 손실 함수의 기울기를 따라 수많은 수치를 밀어 낸다는 한계가 지적된다. 연구진은 최신 LLM이 가중치 행렬을 불투명한 통계가 아니라 읽고 편집할 수 있는 소스 코드로 다룰 수 있는지 물었다고 한다.

⏱ 02:59먼저 LLM이 가중치를 실제로 읽을 수 있는지 확인하는 실험이 소개된다. 실험 1에서는 PPO로 학습한 네 가지 강화학습 정책(Breakout, Pong, Pac-Man, Freeway)을 같은 구조의 다층 퍼셉트론으로 만들고, 가중치를 텍스트로 제공했다. 구조만으로 게임을 알 수 없도록 설계했고, 코드 실행과 선택지 제공도 금지했다. 모델은 네 게임을 모두 맞혔다. 예를 들어 Breakout 네트워크에서는 바닥 근처 행의 큰 가중치를 수평으로만 움직이는 패들로 읽고, 상단 행의 구조를 벽돌 배열로 해석했다고 한다.

실험 2와 3에서는 원, 삼각형, 사각형을 생성하는 확산 모델과 서로 다른 언어로 학습된 소형 트랜스포머에 같은 방식을 적용했다. 실험 7에서는 아첨하도록 학습된 모델을 표준 모델과 비교해, 행동 테스트 없이 가중치 구조만으로 식별했다. 영상은 이를 행동 기반 감사에서 정적 가중치 분석으로 바뀌는 신호로 해석한다.

⏱ 06:22다음 단계는 읽기를 넘어 고치기다. 실험 4에서는 자동차가 가파른 경사를 넘지 못해 성공률이 0%인 제어 정책을 다뤘다. 보통이라면 보상 함수를 재설계하고 긴 재학습을 해야 하지만, 연구진은 실패 사양을 자연어로 설명하고 가중치를 모델에 넘겼다. 모델은 추력이 경계를 넘지 못하게 막던 상태-행동 매핑의 죽은 영역을 찾아 가중치의 3.5%만 한 번에 수정했고, 수정된 정책의 성공률은 100%가 되었다. 환경 시뮬레이션이나 그래디언트 업데이트 없이 이루어졌다는 점이 강조된다.

실험 5와 6은 더 과감하다. 게임 규칙만 보고 MinAtar 게임용 신경망을 피드백 없이 처음부터 설계하게 했는데, 결과물이 PPO로 1억 스텝 학습한 네트워크를 능가했다고 한다. 바둑 실험에서는 대칭성, 활로 계산, 따냄 위협 같은 휴리스틱을 합성곱과 완전연결 층의 가중치에 직접 인코딩했다고 설명된다.

⏱ 09:39영상의 핵심인 실험 8의 대상은 800M 파라미터의 오픈 가중치 모델 Qwen3.5다. 이 소형 추론 모델은 다단계 문제에서 같은 추론 문구를 반복하다 토큰 한계에 도달하는 문제를 안고 있으며, Qwen의 모델 카드도 이 경향을 경고한다. 표준 샘플링에서 MATH-500 정확도는 7.9%에 그친다. 추론 시 반복 패널티는 수학 정밀도를 떨어뜨리고, 합성 데이터 기반 지도 미세조정이나 RLHF는 치명적 망각과 높은 비용이라는 부담이 있다.

연구진은 Astra에게 격리된 환경에서 Qwen3.5의 가중치 접근 권한만 주고 수학을 더 잘하게 만들라는 과제를 냈다. 경사 하강법과 학습 루프는 금지했다. 모델은 층별 노름, 특이값, 어텐션 헤드 결합, 출력 투영 행렬을 점검해 연쇄 사고 생성 과정에서 자기 강화적 토큰 루프를 일으키는 구조적 불균형을 찾아냈다. 그리고 가중치의 0.016%만 수정해 같은 설정에서 정확도를 48.1%로 올렸다. 수학 예제에 과적합한 것이 아니라 결함 자체를 고쳤기 때문에 IFEval 지시 따르기 성능도 3배 올랐다고 보고된다. 영상은 이 결과가 하드웨어 예산과 엔지니어링 계획에 주는 의미를 생각해 보라고 권하며 마무리된다.