LangChain으로 이해하는 생성형 AI: 트랜스포머·RAG·에이전트

생성형 AI가 이메일 초안이나 문서 요약을 만드는 원리를 트랜스포머, 허깅페이스, LangChain의 역할로 나누어 설명하는 강의입니다. LLM의 다음 토큰 예측과 셀프 어텐션의 작동 방식을 짚고, 허깅페이스로 사전 학습 모델을 가져오는 방법을 소개합니다. 이어서 LangChain의 체인과 구조화 출력, 도구, RAG 검색 증강 생성, 도구 호출 루프로서의 에이전트를 차례로 다룹니다.

⏱ 00:00이메일 초안 작성, PDF 요약, 대학 챗봇의 답변 뒤에는 세 가지 요소가 함께 작동합니다. 텍스트를 이해하고 생성하는 트랜스포머, 모델을 내려받는 허브인 허깅페이스, 모델을 데이터와 도구에 연결하는 LangChain입니다. 강의는 이 세 요소가 실제로 어떻게 맞물리는지 코드 실행 결과와 함께 보여주겠다는 방향을 제시합니다.

⏱ 00:43생성형 AI는 라벨을 고르는 대신 텍스트, 코드, 이미지, 오디오 같은 새로운 내용을 만듭니다. 스팸 필터가 스팸 여부만 분류하는 것과 달리, 이메일 답장을 써 주는 모델이 생성형 AI의 예입니다.

대규모 언어 모델(LLM)은 다음 토큰을 예측하는 일을 매우 잘하도록 학습되며, 이 과정을 수천 번 반복해 글과 코드가 만들어집니다. 'The capital of India is'라는 입력에 'New'가 선택되고 이어서 'Delhi'가 나오는 예가 설명됩니다.

⏱ 01:272017년 이전의 언어 모델은 단어를 하나씩 순서대로 읽어 긴 문장의 앞부분을 잊기 쉬웠고 학습도 느렸습니다. 트랜스포머는 모든 단어를 한꺼번에 보고 어떤 단어가 어떤 단어에 주목할지 학습하며, 병렬 처리 덕분에 GPU에서 효율적으로 학습됩니다. 내부 과정은 토큰화, 임베딩, 어텐션, 피드포워드, 다음 토큰 예측의 다섯 단계로 나뉩니다.

셀프 어텐션은 각 단어에 쿼리, 키, 값 벡터를 만들어 주변 단어와의 관련도를 계산하는 방식입니다. 'bank'라는 단어가 강가에서는 강둑, 대출 문장에서는 금융기관으로 해석되는 예가 나옵니다. 온도(temperature) 설정은 낮을수록 확실한 답을, 높을수록 다양하지만 엉뚱한 답을 내도록 조절합니다.

⏱ 04:29대규모 모델을 처음부터 학습하는 데는 비용이 많이 들어서 대부분 사전 학습된 모델을 내려받아 씁니다. 허깅페이스 허브는 AI 모델과 데이터셋을 공유하는 플랫폼으로 소개되며, 발표자는 허깅페이스 블로그를 인용해 2026년 8월 기준 모델 수가 300만 개를 넘었다고 전합니다.

transformers 라이브러리의 pipeline을 쓰면 작업 종류와 모델 이름만으로 감정 분석 같은 기능을 몇 줄의 파이썬 코드로 실행할 수 있습니다. 대학이 작은 공개 모델을 자체 서버에서 돌리면 학생 데이터가 외부로 나가지 않는다는 활용 예도 나옵니다. 다만 신뢰할 수 없는 모델의 원격 코드 실행 옵션은 저장소를 확인하기 전까지 피하라고 권합니다.

⏱ 05:19LLM만으로는 최신 정보나 내부 문서를 알 수 없고 직접 행동할 수도 없어, 실제 앱에는 데이터 연결, 도구, 대화 기억, 구조화된 출력, 모델 교체의 자유가 필요합니다. LangChain은 이를 위한 오픈소스 프레임워크이며, 채팅 모델 초기화, 시스템·사용자·AI·도구 메시지 목록, 프롬프트 템플릿과 파이프 연산자로 잇는 체인이 기본 블록입니다.

구조화된 출력은 Pydantic 모델로 원하는 형태를 정의하는 방식입니다. 잘못된 형식의 응답은 예외로 걸러져 앱에 들어가지 않습니다. 도구는 이름, 타입 힌트, docstring을 갖춘 파이썬 함수이며, 모델은 코드를 직접 실행하지 않고 도구 호출만 요청하고 실행과 결과 전달은 프로그램이 맡습니다.

⏱ 07:33LLM은 등록금 마감일처럼 모르는 정보를 그럴듯하게 지어낼 수 있습니다. RAG는 질문과 관련된 문서 조각을 먼저 찾아 프롬프트에 넣는 방식으로 이 문제를 줄입니다. 색인 단계에서는 문서를 불러와 청크로 나누고 임베딩해 벡터 저장소에 한 번 저장합니다. 질의 단계에서는 질문을 임베딩해 가장 유사한 청크를 찾고, 그 문맥만으로 답을 생성합니다.

발표에서는 대학 안내서 몇 줄을 색인한 뒤 취업 등록의 최소 학점을 묻자, 검색기가 학점 6.5 이상이라는 해당 문장을 찾아낸 예를 보여줍니다. 청크 크기가 품질을 좌우하고, 이름이나 숫자에는 하이브리드 검색이 유리하며, 결과 재정렬과 출처 표시, 실제 질문으로 평가하는 것이 팁으로 제시됩니다.

⏱ 08:25체인이 개발자가 정한 고정된 순서를 따른다면, 에이전트는 모델이 다음 단계를 고르는 반복 루프입니다. 모델이 바로 답할지 도구를 호출할지 결정하고, 도구 결과를 받아 다시 판단하며, 최종 답이 나올 때까지 이어집니다. 학생이 DBMS 시험 일정을 물은 예에서, 모델은 과목을 넣어 날짜 조회 함수를 호출하도록 요청하고 결과를 받은 뒤에야 답을 작성합니다.

실서비스에는 긴 대화 요약, 위험한 행동 전 사람의 승인, 개인정보 가리기, 호출 횟수 제한 같은 미들웨어가 필요하다고 강조합니다. 발표는 핀테크 기업 Klarna의 사례를 들며 수치가 기업 자체 발표라는 단서를 붙입니다. 단일 프롬프트는 API 호출로 충분하고, 체인·RAG·도구·모델 교체는 LangChain, 분기나 승인이 필요한 복잡한 흐름은 LangGraph가 적합하다고 정리합니다.