트랜스포머와 어텐션, 수식 없이 쉽게 이해하기 | AI 기초 4화

트랜스포머는 단어를 순서대로 읽지 않고 모든 토큰을 동시에 처리하며, 어텐션으로 각 단어가 문맥상 중요한 다른 단어에 집중해 의미를 얻습니다. 쿼리·키·밸류로 관련도를 계산하고, 여러 헤드와 위치 정보, 쌓인 블록으로 복잡한 언어 관계를 다룹니다. 개발자에게는 긴 문맥의 비용, 문맥 밖 정보의 한계, 중간 정보의 주목도 저하라는 실무 시사점이 있습니다.

⏱ 00:00AI 클라우드 트레일의 AI·LLM 기초 시리즈 네 번째 편으로, 오늘날 거의 모든 언어 모델의 기반인 트랜스포머 구조와 핵심 아이디어인 어텐션을 수식 없이 쉽게 설명한다고 소개합니다. 2017년 구글 팀이 발표한 논문 'Attention is all you need'에서 트랜스포머가 처음 소개되었고, GPT, 클로드, 제미나이, 라마 등 대규모 언어 모델 대부분이 이를 바탕으로 합니다. GPT의 T가 바로 트랜스포머를 뜻한다는 점도 짚습니다.

⏱ 00:44이전 세대인 순환 신경망은 텍스트를 한 단어씩 순서대로 읽어서, 긴 문단의 끝에 이르면 앞부분 단어가 기억에서 거의 사라지곤 했습니다. 또 각 단계가 이전 단계를 기다려야 해서 학습 속도도 느렸습니다.

트랜스포머는 모든 단어를 동시에 확인하고 각 단어가 다른 모든 단어와 직접 연결되도록 합니다. 덕분에 먼 거리의 단어 관계도 강하게 유지되고, 수천 개의 GPU에서 병렬로 작업할 수 있어 오늘날의 거대 모델을 가능하게 한 핵심 요인으로 설명됩니다.

⏱ 01:23어텐션은 각 단어가 문맥에서 자신에게 가장 중요한 단어를 골라 그로부터 의미를 빌려 오는 과정입니다. '뱅크(bank)'가 은행일 수도 강둑일 수도 있지만, '갠지스 강의 뱅크'라는 문장에서는 '갠지스'와 '강'에 집중하여 강둑의 의미로 연결됩니다.

'트로피가 너무 커서 가방에 들어가지 않았다'에서 '그것'이 무엇인지도 같은 방식으로 파악합니다. 문법 규칙을 따로 프로그래밍한 것이 아니라, 모델이 데이터에서 이런 패턴을 스스로 학습했다고 설명합니다.

⏱ 02:15각 토큰은 쿼리, 키, 밸류라는 세 개의 작은 벡터를 만듭니다. 도서관에서 검색하는 상황에 비유하면, 쿼리는 이 단어가 찾는 대상이고, 키는 다른 단어에 붙은 라벨처럼 그 단어가 무엇을 담고 있는지를 나타냅니다. '그것'의 쿼리는 '크게 될 수 있는 명사가 필요하다'는 뜻이 되고, '트로피'의 키는 '나는 클 수 있는 물체다'라는 신호가 됩니다.

쿼리는 모든 키와 비교되어 잘 맞을수록 높은 점수를 받습니다. 밸류는 실제로 전달되는 정보이며, 단어는 점수가 높은 밸류들을 가중치에 따라 섞어 가져오고, 그 조합이 문맥을 반영한 새로운 의미가 됩니다.

⏱ 02:57언어는 한 번에 여러 종류의 관계를 맺기 때문에 어텐션 패턴 하나로는 부족합니다. 그래서 트랜스포머는 여러 어텐션 헤드를 병렬로 돌리며 각 헤드가 서로 다른 것에 집중하도록 배웁니다. 설명에 따르면 어떤 헤드는 문법을, 어떤 헤드는 대명사와 명사의 연결을, 또 다른 헤드는 시점이나 주제를 다룹니다. 이 분류는 단순화된 예시이지만 개념은 정확하다고 덧붙입니다. 이후 모든 헤드의 출력을 합쳐 각 단어가 여러 관점을 동시에 반영한 의미를 갖게 합니다.

또한 모든 단어를 동시에 보면 순서를 알 수 없는 문제가 생깁니다. '개는 사람을 문다'와 '사람은 개를 문다'는 단어는 같지만 뜻은 완전히 다르므로, 각 토큰에 순서상의 위치 정보를 더해 순서가 사라지지 않게 합니다.

⏱ 03:52트랜스포머 블록은 두 단계로 구성됩니다. 첫째는 어텐션 단계로, 각 토큰이 다른 토큰에서 정보를 모읍니다. 둘째는 피드 포워드 네트워크로, 가중치에 저장된 지식을 사용해 각 토큰을 개별적으로 처리합니다. 많은 연구자들은 사실 지식의 상당 부분이 이 계층에 저장되어 있다고 봅니다.

이 블록을 수십 개 쌓아 올리는데, 초기 계층은 철자나 문법 같은 단순한 패턴을, 후기 계층은 의도, 어조, 논리처럼 더 추상적인 의미를 만듭니다. 마지막에 모델이 다음 토큰에 대한 점수를 산출합니다.

⏱ 04:36개발자 관점에서 보면 세 가지 시사점이 있습니다. 첫째, 어텐션은 모든 토큰을 서로 비교하므로 프롬프트가 길어질수록 연산량이 빠르게 늘어나고, 이것이 긴 문맥이 느리고 비용이 많이 드는 이유입니다. 둘째, 모델은 프롬프트 안에 실제로 있는 정보에만 주목할 수 있어서, 정보가 문맥에 없으면 찾아낼 수 없습니다. 이는 8화에서 다룰 RAG가 등장한 배경이라고 예고합니다. 셋째, 아주 긴 프롬프트의 중간에 묻힌 정보는 덜 주목받을 수 있으므로 가장 중요한 지시는 앞이나 뒤에 명확히 배치하라고 권합니다.

다음 에피소드에서는 온도와 샘플링을 살펴보고 같은 프롬프트에서 답이 매번 달라지는 이유를 다룹니다.