생각을 읽는 기계: 뇌 임플란트로 말과 글을 되찾다

뇌 신호를 읽어 말이나 글로 바꾸는 뇌 임플란트 연구 세 가지를 소개한다. 뇌졸중으로 말을 잃은 앤 존슨은 음소 단위 학습으로 분당 78단어의 음성을 얻었고, 스탠퍼드의 T5는 글씨를 쓰는 상상만으로 분당 90자를 기록했다. 팻 베넷은 말하기 신호를 해독해 분당 62단어를 기록했다. 영상은 이 기술이 실제 말하기나 쓰기 시도의 신호에 의존한다는 한계를 짚고, 생각 해독이 가져올 질문을 함께 던진다.

⏱ 00:01영상은 뇌 신호를 읽어 말이나 글로 바꾸는 기계를 다룬다. 공상과학처럼 들리지만 과학자들이 실제 사람에게 장치를 이식해 결과를 발표했다는 점에서 이야기가 시작된다. 화면 속 얼굴이 말하는 모습 뒤에는 뇌 표면에 놓인 얇은 전극 띠가 있다는 점을 먼저 보여 준다.

⏱ 00:43캐나다의 고등학교 수학 교사였던 앤 존슨은 2005년 뇌간 뇌졸중 이후 거의 전신이 마비되어 말을 명확히 하지 못하게 되었다. 이후 몇 년 동안은 글자판에서 한 글자씩 짚어 가며 대화했다. 연구팀은 2022년 말 그녀의 말하기 영역 위에 253개의 전극 배열을 올려놓고, 포트를 통해 컴퓨터와 연결했다.

핵심은 뇌졸중 이후에도 말하기 영역이 여전히 발화 신호를 만든다는 점이다. 신호가 입과 성대까지 전달되지 못할 뿐이어서, 기계는 끊긴 연결을 대신 메우는 역할을 한다. 음성은 그녀의 2005년 결혼식 영상을 바탕으로 복원되었다.

⏱ 01:40연구팀은 단어 전체가 아니라 영어를 이루는 39개의 기본 소리(음소)를 기계에게 가르쳤다. 음소만 알면 어떤 단어든 조합할 수 있어 정확도와 속도가 높아졌다고 설명한다. 앤은 몇 주 동안 1,024개 어휘의 문장을 소리 없이 말하려고 반복했고, 기계는 2주 미만의 훈련으로 높은 성능에 도달했다.

결과는 분당 중간값 78단어였다. 일상 대화가 대략 분당 150에서 200단어인 것과 비교하면 아직 부족하며, 단어의 약 4분의 1은 여전히 틀렸다. 다만 오프라인 테스트에서는 어휘가 39,378단어까지 확장되었다. 얼굴 아바타는 턱, 입술, 혀의 움직임을 음성에 맞춰 만들고, 기쁨이나 슬픔 같은 표정도 뇌 신호에서 나온다.

⏱ 04:15연구팀은 이 기계가 작동하려면 사람이 실제로 말하려고 시도해야 한다는 제약을 분명히 밝혔다. 머릿속으로 떠올리기만 해서는 신호를 잡을 수 없다는 뜻이다. 영상은 이 한계가 기술마다 다르다고 짚는다. 어떤 시스템은 시도한 말을 읽고, 어떤 시스템은 떠올린 장면이나 기억을 읽으려 한다.

그래서 말하려는 시도와 단순한 생각 사이의 경계가 어디인지, 기계가 생각을 얼마나 많이 필요로 하는지가 핵심 질문으로 남는다.

⏱ 05:52스탠퍼드 대학 연구에서 2007년 척수 손상으로 손을 쓰지 못하게 된 T5라는 남성은 펜도 종이도 없이 글씨를 쓰는 상상을 했다. 2016년 손과 손가락을 담당하는 뇌 부위에 두 개의 작은 칩이 삽입되었고, 각 칩에는 100개의 전극이 달려 있었다. 이전 방식은 커서로 화면 키보드의 글자를 하나씩 클릭하게 했지만, 이 연구는 글씨를 쓴다고 상상하라고 요청하는 더 자연스러운 방식을 택했다.

2021년 발표에서 T5는 분당 90자를 기록했고, 첫 시도에서 94.1%의 글자가 맞았다. 자동 교정을 거치면 정확도는 99%를 넘었다. 자유롭게 답을 쓸 때도 분당 73.8자를 기록해 기존 뇌 입력 기록의 세 배에 달했다. 연구팀은 이 방식을 마인드라이팅이라 불렀지만, 논문은 이것이 생각 자체를 읽는 것이 아니라 손을 움직이려는 시도의 신호를 해독하는 것이라고 설명한다.

⏱ 09:00이 장치가 읽는 것은 손을 움직이려는 계획이므로, 막연하게 떠오르는 생각과는 다르다고 영상은 강조한다. T5의 손은 움직이지 않았지만, 글씨를 쓰는 계획은 몸이 그 능력을 잃은 뒤에도 약 10년 동안 뇌 안에 온전히 남아 있었다.

연구팀은 손글씨가 분당 20단어 안팎인 반면 사람은 말을 분당 약 125단어로 한다는 점을 들어, 다음 단계로 말하기 신호를 해독하는 쪽으로 나아갔다. 이 기기는 아직 실험 단계이며 특허가 출원되었다. 계획을 읽을 수 있다면 머릿속의 다른 계획들은 무엇이며, 가장 빠른 뇌의 산출물인 말을 기계가 따라가면 어떤 일이 벌어질지에 대한 질문이 이어진다.

⏱ 11:22루게릭병(ALS)을 앓는 전직 인사 담당자 팻 베넷은 2022년 3월 스탠퍼드에서 네 개의 작은 센서를 뇌에 이식받았다. 두 개는 말하기 운동을 계획하는 영역에, 두 개는 언어와 관련된 브로카 영역에 놓였다. 그녀는 입과 혀로 분명한 말을 하기 어려워졌지만, 얼굴 근육 일부와 소리를 낼 능력은 남아 있었다.

훈련은 약 25회 세션에 걸쳐 진행되었고, 실제 전화 대화에서 가져온 문장들이 사용되었다. 시스템은 두 단계로 작동한다. 먼저 AI가 영어의 39개 음소에 해당하는 뇌 활동을 학습하고, 이어서 언어 모델이 음소를 실제 단어로 조합한다. 결과는 2023년 8월 23일 Nature에 실렸으며, 같은 날 앤 존슨의 연구도 같은 학술지에 게재되었다. 팻은 분당 62단어로 말해 T5의 펜 기록보다 3.4배 빨랐고, 50단어 어휘에서는 오류율이 9.1%였다.