자연어 처리란? 텍스트 처리부터 트랜스포머와 LLM까지

자연어 처리는 기계가 인간의 언어를 인식하고 이해하며 생성하도록 만드는 기술이다. 강의는 튜링 테스트에서 출발해 규칙 기반 시기의 기대와 좌절, 확률 기반 통계 전환, 신경망과 딥러닝의 도약을 차례로 짚는다. 이어서 음성 인식부터 의미 분석까지의 처리 파이프라인을 소개하고, 개념적 은유를 이해하는 인지 AI를 앞으로의 과제로 제시한다.

⏱ 00:00기계가 인간의 언어를 어떻게 이해하고 말하게 되었는지 그 역사를 따라가는 입문 강의입니다. 음성 받아쓰기나 실시간 번역처럼 우리가 매일 쓰는 기술도 오랜 시행착오 끝에 만들어진 결과라는 점을 짚습니다.

자연어 처리(NLP)는 컴퓨터과학의 정형화된 논리와 인간 언어의 복잡한 특성을 잇는 분야로 소개됩니다. 인식, 이해, 생성을 수행하는 시스템을 만드는 것이 목표입니다.

강의는 정의, 규칙 기반 시대, 통계적 전환, 신경망 돌파, 단어 처리 과정, 인지 AI 전망 순서로 진행됩니다.

⏱ 01:33강의는 1950년대 앨런 튜링이 제안한 튜링 테스트를 출발점으로 봅니다. 이 테스트는 기계가 자연어를 자동으로 해석하고 생성하는지를 지능의 기준으로 삼았습니다. 이후 1980년대에 통계 모델로 무게중심이 옮겨 갔고, 2010년대에는 신경망이 널리 쓰이면서 발전이 빨라졌다고 설명합니다.

⏱ 02:051950년대부터 1990년대 초까지는 사람의 언어를 엄격한 규칙으로 바꾸려 한 시기입니다. 철학자 존 설의 중국어 방 비유는 이 방식의 한계를 보여줍니다. 규칙서만 보고 기호를 맞춰 답하는 기계는 기호를 능숙하게 다루어도 뜻을 이해하지는 못한다는 것입니다.

기대와 좌절도 반복되었습니다. 1954년 조지타운 실험은 러시아어 문장 60여 개를 영어로 옮기는 데 성공해 기계 번역이 몇 년 안에 해결될 것이라는 낙관을 낳았습니다. 1960년대 챗봇 엘리자는 사용자의 말을 되묻는 방식으로 상담사를 흉내 냈습니다. 그러나 1966년 ALPAC 보고서는 십 년 가까운 연구가 사실상 실패했다고 평가했고, 투자는 크게 줄었습니다. 언어는 모호하고 예외가 많아 단순한 조건문으로 감당하기 어려웠기 때문입니다.

⏱ 03:281990년대 이후에는 손으로 쓴 규칙 대신 확률과 대량의 데이터가 중심이 됩니다. 언어학자들이 코퍼스라고 부르는 실제 텍스트를 많이 학습해, 다음에 올 단어가 무엇일지를 확률로 추정하는 방식입니다. 예외마다 규칙을 만들 필요가 없어졌고, 오타가 있어도 의도를 추측할 수 있어 시스템이 훨씬 견고해졌습니다.

1990년 IBM 연구팀은 영어와 프랑스어의 대응 문장을 캐나다 의회 회의록처럼 나란히 정렬한 자료로 학습했습니다. 그 결과 어떤 영어 단어가 어떤 프랑스어 단어와 자주 짝을 이루는지 기계가 스스로 익히게 되었습니다. 이는 언어 규칙을 사람이 설계하지 않고 데이터에서 배우는 전환점으로 소개됩니다.

⏱ 04:432010년대에는 깊은 신경망이 주류가 되었습니다. 단어 임베딩 기술로 단어의 의미적 성질을 자동으로 포착하면서, 품사 태깅이나 단어 정렬 같은 중간 단계 작업을 사람이 설계할 필요가 줄었습니다. 원시 데이터를 넣으면 단어 사이의 복잡한 숨은 관계를 모델이 스스로 찾아냅니다.

생성 능력의 규모도 예로 듭니다. 2018년 실험 프로젝트 '1 the Road'는 신경망이 쓴 소설로, 6천만 단어가 생성되었다고 소개됩니다. 강사는 이런 모델이 실제 사실에 근거한 이해가 부족한 언어 모델일 뿐이라는 한계를 함께 짚으면서도, 문장의 일관성과 분량에는 놀랍다고 평가합니다.

⏱ 05:52음성 받아쓰기가 실행될 때 거치는 단계를 설명합니다. 먼저 음성 인식이 아날로그 음파를 텍스트로 바꾸고, 토큰화가 문장을 숫자로 다룰 수 있는 조각으로 나눕니다. 이어서 구문 분석이 문법 트리를 만들고, 마지막으로 의미 분석이 문맥과 뜻을 파악합니다. 한 문장에는 수많은 분석 가능성이 있어 컴퓨터가 순식간에 걸러내야 합니다.

강사는 토큰화를 특히 주목할 단계로 꼽습니다. 영어는 띄어쓰기로 단어가 나뉘지만, 띄어쓰기가 없는 언어는 어휘와 형태 지식이 있어야 단어 경계를 정할 수 있습니다. 이런 과정 위에서 감성 분석, 기계 번역, 문서 인공지능, 자동 요약, 대화 관리 같은 응용이 작동합니다.

⏱ 07:37강의의 마지막은 단순한 확률 예측을 넘어선 인지적 이해를 다룹니다. 언어학자 조지 레이코프의 개념적 은유를 인용해, 사람은 한 개념을 다른 개념으로 이해하는 방식에 크게 의존한다고 설명합니다. '내일은 큰 날이다'라는 문장을 사람은 중요하다는 뜻으로 알아듣지만, 문맥 지식이 없는 알고리즘은 내일이 물리적으로 크다고 해석할 수도 있습니다.

따라서 앞으로 NLP는 이런 상대적인 의미의 척도를 알고리즘에 부여하는 방향으로 나아갈 것이라고 정리합니다. 강사는 기계가 생각을 실제로 이해하는지, 아니면 통계적으로 완벽한 계산을 수행하는지에 대한 질문을 던지며 마무리합니다.