LLM 핵심 개념 13가지를 13분에 정리

챗GPT가 입력을 받아 답을 만드는 과정을 토큰, 임베딩, 트랜스포머와 어텐션, 파라미터와 학습, 미세 조정과 RLHF, 컨텍스트와 RAG, 샘플링, 경량화까지 13가지 개념으로 나눠 설명한 영상이다. 핵심은 모델이 단어가 아니라 숫자 조각을 다루며, 학습 데이터와 학습 방법이 모델 크기만큼 중요하다는 점이다.

⏱ 00:00모델은 글자를 그대로 보지 않고 토큰이라는 조각 단위로 읽고 쓴다. 토큰은 짧은 단어 전체일 수도 있고, 긴 단어의 일부일 수도 있다. 영어 기준으로 토큰 100개가 단어 75개 정도라는 어림값이 있지만, 이는 영어에만 해당하므로 실제 글자 수 대신 토크나이저로 직접 세어 보는 것이 정확하다.

임베딩은 각 토큰을 긴 숫자 목록으로 바꾼 것이다. 의미가 비슷한 토큰일수록 이 공간에서 가까이 놓이며, 같은 단어라도 문맥에 따라 값이 달라진다. 검색에서 질문과 문서를 같은 방식으로 숫자화해 가까운 문서를 찾는 원리도 이 개념에서 나온다.

⏱ 02:182017년 구글 연구진이 제안한 트랜스포머는 GPT의 T에 해당하는 구조로, 같은 형태의 층을 여러 겹 쌓은 엔진 설계다. 이전 모델들이 단어를 줄 세우듯 하나씩 읽었던 것과 달리, 트랜스포머는 문장 전체를 한꺼번에 처리해 학습 속도가 빨랐다. GPT나 라마 같은 모델은 이 설계를 바탕으로 학습된 결과물이라고 보면 된다.

어텐션은 각 토큰이 앞에 있는 토큰들을 바라보며 어떤 것이 중요한지 점수를 매기고, 그 정보를 섞어 받아들이는 방식이다. 트로피가 여행가방에 들어가지 않은 이유가 그것이 너무 커서라는 문장에서, 그것이 트로피를 가리킨다는 사실을 찾아내는 과정이 바로 어텐션이다. 이 연결은 한 층에서 한 번이 아니라 여러 어텐션 헤드가 각자 다른 종류의 관계를 추적하며 여러 번 일어난다.

⏱ 03:55파라미터는 가중치라고도 하며, 학습 과정에서 얻은 지식이 저장된 수많은 조절값이다. 수많은 손잡이가 달린 믹싱 데스크에 비유할 수 있는데, 학습은 출력이 자연스러워질 때까지 손잡이를 아주 조금씩 반복해서 돌리는 과정이다. GPT-3는 1750억 개, 메타의 가장 큰 라마 3 모델은 4050억 개의 파라미터를 가진다고 소개되었다. 다만 크기가 곧 품질을 보장하지는 않으며, 데이터와 학습 방법이 함께 중요하다.

사전 학습은 방대한 텍스트에서 다음 토큰을 맞히는 과제를 반복하는 단계다. 모델이 다음 토큰을 추측하면 실제 정답과 비교해 파라미터를 조금씩 고치고, 이를 수조 번 되풀이한다. 문법이나 사실을 따로 가르치지 않아도 이 과정에서 스스로 익힌다. 여기에 더해 딥마인드의 치칠라 연구는 모델 크기와 학습 데이터를 함께 늘려야 효율적이라는 결과를 보여, 작은 모델이 더 큰 모델을 이기는 사례로 소개되었다.

⏱ 06:06사전 학습이 넓은 지식을 주는 단계라면, 미세 조정은 적은 예시로 모델의 행동 방식을 다듬는 단계다. 시험에 비유하면 사전 학습은 도서관의 교과서를 읽는 것이고, 미세 조정은 기출문제로 출제 형식에 맞춰 연습하는 것이다. 챗봇은 사람이 쓴 예시 답변을 따라 하는 지도 미세 조정으로 시작하고, 이후 RLHF로 사람의 선호를 반영한다.

RLHF에서는 모델이 한 질문에 여러 답변을 쓰고 사람이 그 답을 좋은 순서로 매기며, 이 순위가 보상 신호가 되어 모델을 조정한다. InstructGPT 논문에서는 13억 파라미터 모델이 1750억 파라미터 GPT-3보다 사람들에게 더 선호받았다고 보고되었다. 거대한 모델 전체를 미세 조정하는 것은 비용이 크기 때문에, LoRA는 원래 가중치를 얼려 두고 작은 행렬만 옆에 덧붙여 학습한다. 다만 LoRA는 특정 기반 모델에 맞춘 추가 부품이라 다른 기반 모델에는 그대로 붙지 않는다.

⏱ 08:35컨텍스트 윈도우는 모델이 한 번에 볼 수 있는 토큰의 범위로, 대화 내용과 파일, 답변이 모두 이 책상 위에 올라간다. 범위 밖으로 밀려난 내용은 모델이 볼 수 없으므로 긴 대화에서는 앞부분을 놓칠 수 있다. 프롬프트 안에 예시를 몇 개 넣으면 재학습 없이도 새 작업을 수행하게 할 수 있는데, 이를 인컨텍스트 학습이라고 한다. 모델 자체가 지난 대화를 기억하는 것이 아니라, 앱이 대화 내용을 다시 넣어 준다는 점도 기억해 둘 만하다.

RAG, 즉 검색 증강 생성은 질문과 관련된 문서를 먼저 검색해 컨텍스트에 붙여 넣고, 그 내용을 바탕으로 답하게 하는 방식이다. 회사 문서처럼 자주 바뀌는 사실을 다룰 때는 재학습보다 RAG가 간단한 해결책이 되는 경우가 많다. 답변이 어떤 문서에서 왔는지 함께 보여줄 수 있어 사용자가 근거를 확인하기도 쉽다.

⏱ 10:25모델은 매 단계마다 가능한 다음 토큰 각각에 확률을 매기고, 디코딩 규칙이 그중 하나를 고른다. 가장 단순한 그리디 방식은 항상 가장 확률이 높은 토큰을 고르는데, 짧은 답에는 괜찮지만 긴 답에서는 같은 말을 반복하기 쉽다. 샘플링은 확률에 따라 무작위로 고르기 때문에 가끔 덜 유력한 토큰이 선택되고, 그래서 같은 질문에도 답이 달라질 수 있다.

온도는 이 확률 분포의 모양을 바꾸는 값이다. 낮추면 유력한 토큰이 더 유력해져 답이 보수적이고 일관되며, 0에 가까우면 그리디와 비슷해진다. 탑P는 확률을 큰 순서로 더해 합이 P가 되는 최소한의 후보만 남기고 그 안에서 고르는 방식이다. 사실이나 코드에는 낮은 온도가, 아이디어 발상에는 높은 온도가 어울린다고 정리되었다.

⏱ 11:27양자화와 증류는 모델을 충분히 작게 만들어 실행할 수 있게 하는 두 가지 방법이다. 양자화는 모델 구조를 그대로 두고 각 숫자를 더 적은 비트로 저장해 파일과 메모리를 줄인다. 사진을 낮은 화질로 저장하는 것에 비유할 수 있으며, 16비트를 8비트로 바꾸는 예가 소개되었다. LLM.int8 논문에서는 8비트 추론으로 필요한 메모리를 절반으로 줄일 수 있음을 보였다.

증류는 큰 교사 모델이 작은 학생 모델에게 자신의 행동을 따라 하도록 가르치는 방식이다. 정리하면 양자화는 같은 모델을 더 작은 가방에 넣는 것이고, 증류는 전문가에게 배운 작은 학생을 새로 만드는 것이다.