요약
⏱ 00:001. 도입과 문제의식
⏱ 00:00발표는 연구자 겸 창업자가 치열한 경쟁 속에서 회사를 이끄는 확신의 중요성을 짚으며 시작합니다. 발표자는 AGI의 문턱에 가까워졌다고 보며, 모델의 출력이 현실처럼 느껴지고 환각과 실재를 구분하기 어려워지는 변화를 체감한다고 말합니다. 그리고 생성형 AI에서는 속도가 곧 품질을 좌우한다는 점을 핵심 문제의식으로 제시합니다.
추론 단계가 실제 병목이며, 이 문제를 풀면 강화 학습 확장에도 큰 이득이 생긴다는 논지가 이어집니다.
⏱ 01:002. 창업 배경과 확산 모델의 부상
⏱ 01:00게스트는 스탠포드 연구실 동료였던 공동 창업자들과 함께 생성 모델 초기 세대를 연구했던 경험을 설명합니다. 당시 이미지 생성의 주류였던 GAN이 확산 모델에 빠르게 밀려난 과정을 회상하고, 확산이 여러 모달리티에 적용되었음에도 텍스트 LLM 분야는 왼쪽에서 오른쪽으로 생성하는 방식에 머물러 확산이 널리 받아들여지지 않았다고 짚습니다.
연구실은 몇 년간 필요한 요소를 개발한 끝에 확산이 자기 회귀 방식보다 효율적인 대안이 될 수 있다는 초기 징후를 확인했고, 이를 바탕으로 회사 인셉션을 세웠다고 설명합니다.
⏱ 03:253. 트랜스포머와 확산 모델의 차이
⏱ 03:25트랜스포머는 병렬 처리에 적합한 어텐션 구조이며, 확산 모델도 기본적으로 트랜스포머 위에 구축된다고 정리합니다. 일반적인 텍스트 생성 트랜스포머는 인과 마스크로 과거 토큰만 보며 순차적으로 다음 토큰을 만듭니다.
⏱ 06:084. 속도가 바꾸는 사용자 경험
⏱ 06:08속도가 사용자 경험을 바꾼다는 주장입니다. 같은 심층 연구라도 5분 걸리는 것과 5초 만에 끝나는 것은 전혀 다른 경험이며, 사람이 개입하는 워크플로에서는 반복 속도가 생산성을 크게 좌우한다고 봅니다.
또한 사람들은 응답이 느리면 더 높은 품질의 모델 대신 낮은 수준의 모델을 택하는 경향이 있으므로, 빠르면서도 정확한 응답이 가능하다면 상호작용 방식 자체가 달라질 것이라고 말합니다.
⏱ 10:075. 배치 효율, 비용, 활용 분야
⏱ 10:07처리량과 지연 시간 곡선을 보면 작은 배치와 중간 배치에서 확산 방식이 자기 회귀 방식보다 나은 성능을 보이며, 배치 크기가 매우 커지면 두 방식의 차이가 줄어든다고 설명합니다. 따라서 확산 LLM의 효율적인 구간은 작은 배치에서 중간 배치 사이이며, 여기서 지연 시간과 비용의 균형을 찾을 수 있다고 합니다.
⏱ 15:476. 생태계와 하드웨어 통합
⏱ 15:47최근 ICML에서 확산 LLM 관련 논문이 3년 연속 최우수 논문상을 받았다는 점을 근거로, 머신러닝 알고리즘과 시스템을 함께 봐야 한다는 흐름을 강조합니다. 시스템 엔지니어링이 다시 중요해졌고, 하드웨어부터 애플리케이션까지 수직 통합이 필요하다는 입장입니다.
하드웨어 측면에서는 GPU 공급사뿐 아니라 AI 전용 칩을 만드는 회사들의 등장을 주목하며, 트랜스포머 중심으로 설계된 현재 인프라가 확산 워크로드에도 유리하다고 봅니다. 모델링 계층과 하드웨어 이점을 결합하면 언어 모델의 효율성 기준이 바뀔 수 있다는 기대를 밝힙니다.
⏱ 18:177. 오픈 웨이트 모델 논쟁
⏱ 18:17폐쇄형 모델에 대한 불안과 개방형 가중치 모델 논쟁을 다룹니다. 규제로 개방형 모델을 막아도 전 세계의 개발은 멈추지 않으며, 오히려 국제적 경쟁력이 약해질 수 있다는 주장입니다. 발표자는 자사가 폐쇄형 모델을 쓰는 회사이지만 생태계에는 두 방식이 모두 필요하다고 봅니다.
다만 개방형 모델은 품질 기준을 넘어야 의미가 있으며, 기업이 여러 개방형 모델을 함께 도입하는 것이 지적 재산 보호와 생태계 기여 양쪽에 도움이 된다고 설명합니다. 또한 AI 비용이 기업 예산과 맞지 않는 격차를 줄이는 데 오픈 웨이트 생태계가 중요하다고 말합니다.
