정밀 의학을 위한 멀티모달 모델링 연구

스탠퍼드 연구팀이 병리 영상과 유전자 발현 데이터를 연결해 정밀 의학에 활용하는 멀티모달 모델을 소개합니다. 결측 데이터를 보완하는 교차 모달 예측과 RNA 데이터에서 조직 이미지를 합성하는 확산 모델을 다루며, 임상 적용 가능성과 남은 과제를 함께 논의합니다.

⏱ 00:10강의는 스탠퍼드 연구실의 여러 프로젝트를 소개하며, 지도 학습 기반 멀티모달 모델링의 배경과 동기부터 설명합니다. 이어서 멀티모달 데이터의 결측 문제, 누락된 데이터를 보간하거나 합성 이미지를 생성하는 방법을 다룬다고 예고합니다. 주된 분야는 영상 의학으로, 3D 방사선 영상 모델과 기반 모델, 합성 이미지 생성 모델에 초점을 둡니다.

⏱ 01:04멀티모달 모델링의 핵심은 한 환자에 대해 여러 종류의 데이터를 함께 쓰는 것입니다. 종양학에서는 RNA 시퀀싱, 임상 데이터, 조직 병리 영상 등을 결합한 대규모 데이터베이스가 흔합니다. 연구팀은 데이터 유형별로 512차원 임베딩을 학습하는 통합 모델로 암 환자의 예후를 예측했고, 여러 암종에서 단일 모달 모델보다 성능이 향상되었습니다. 뇌종양 연구에서는 RNA 시퀀싱과 고해상도 조직 영상을 결합했으며, 성인 데이터로 학습한 모델을 희귀한 소아 질환에 전이 학습으로 적용해 보았습니다.

융합 시점에 따라 특징을 이어 붙이는 초기 융합, 중간 융합, 모달별 결정을 나중에 통합하는 후기 융합으로 나뉘며, 초기 융합이 단일 모달보다 낫다는 결과를 제시했습니다. 최근 비소세포 폐암 코호트에서는 RNA 시퀀싱, 전체 슬라이드 병리 영상, CT를 결합해 치료 반응을 예측했고, 모달리티를 많이 결합할수록 성능이 좋아지는 경향을 보였습니다.

⏱ 05:13실제 임상에서는 모든 환자에게 모든 모달리티가 확보되지 않아 결측이 자주 발생합니다. 따라서 누락된 모달리티에 강건하거나 이를 보완하는 방법이 필요합니다. 방사선 영상은 임베딩 학습이 어려워 대규모 특징 추출 모델이 최근에야 등장했습니다.

발표자는 임상에서 일상적으로 얻는 H&E 병리 이미지가 분자 데이터를 대신할 수 있는지 묻습니다. RNA 시퀀싱은 하위 유형 분류와 약물 결정에 유용하지만 모든 환자에게 측정되지 않는 연구 도구에 가깝습니다. 두 데이터가 같은 조직 조각에서 나오므로 상관관계가 있다는 점에서 출발합니다.

⏱ 08:24데이터는 TCGA(최대 약 1만 명 환자), 정상 조직 기준선을 주는 GTEx, 검증용 CPTAC와 공간 전사체 코호트를 사용했습니다. 모델은 비전 트랜스포머 기반으로, 약 20만×20만 픽셀의 전체 슬라이드를 메모리에 올릴 수 없어 250×250 패치로 나눠 샘플링합니다.

각 패치는 ResNet-50이나 Uni 같은 병리 파운데이션 모델로 특징 벡터가 되고, 수백~수천 번 샘플링한 특징을 100개 클러스터로 묶어 종양의 이질성을 포착합니다. 이후 세 가지 모델 중 하나가 약 2만 개 유전자의 발현을 예측합니다. 벌크 RNA로 학습했기 때문에 슬라이드 전체에 정답이 하나뿐이지만, 공간 전사체를 쓰면 위치별 정답을 얻을 수 있다고 설명합니다.

⏱ 09:45청중은 20만 픽셀 이미지에서 모든 픽셀이 중요한지, 압축이나 다중 해상도 방식으로 줄일 수 없는지 물었습니다. 발표자는 병리학자가 20배나 40배 배율로 보는 방식을 일부 모방하며 여전히 상대적으로 높은 해상도를 유지한다고 답했습니다. 축면, 시상면, 관상면처럼 여러 뷰를 쓰는 다중 뷰 모델이 다음 단계가 될 것이며 아직 충분히 탐구되지 않아 학생 연구 주제로도 적합하다고 말했습니다. 250×250 타일링은 ImageNet 기반 파운데이션 모델과의 일관성을 위한 선택이었다고 설명합니다.

⏱ 12:00Uni와 의료 파운데이션 모델은 ResNet보다 훨씬 나은 성능을 보였고, 선형화된 트랜스포머가 다른 구조보다 우수했습니다. 이미지 하나로 최대 약 1만7천 개 유전자를 높은 상관과 낮은 오차로 예측할 수 있었습니다. 성능은 데이터셋 크기와 관련이 있어, 샘플이 많은 유방암에서는 좋았지만 샘플이 적은 교모세포종에서는 결과가 나빴습니다.

패치 단위 예측이므로 유전자별 공간 활동을 슬라이드 위에 시각화할 수 있고, 공간 전사체 정답과도 좋은 상관을 보였습니다. 이 기술은 임상 H&E 이미지에서 RNA 데이터를 추론해 환자 군집화, 과거 코호트 분석, 약물 반응 예측에 활용될 수 있다고 제시합니다.

⏱ 17:05발표 후반부는 반대 방향으로, 유전자 발현 벡터에서 조직 이미지를 생성하는 연구입니다. GAN의 붕괴 문제를 피해 여러 조직을 하나의 구조로 생성하는 것을 목표로 했습니다. 변분 오토인코더로 RNA 데이터를 200개의 평균과 분산으로 압축해 조건 벡터로 쓰고, 텍스트-이미지 확산 모델과 유사한 캐스케이드 확산 모델이 64×64 이미지를 학습한 뒤 단계적으로 고해상도로 업샘플링합니다. 5개 조직에서 실험했고, 병리학자에게 블라인드 테스트로 보여 주었을 때 실제와 구분하지 못했다고 합니다.

청중은 이미지에서 RNA를 예측하고 그 반대도 가능하다면 두 데이터가 같은 정보를 담는지 물었습니다. 발표자는 상관이 있어도 각 모달리티의 고유한 정보가 사라지지는 않으며, 특히 분자 데이터에는 공간적 맥락이 없다고 답했습니다. 생성 모델은 전체 슬라이드가 아닌 패치를 만들며, 공간적 이질성 모델링은 충분한 공간 전사체 데이터가 있을 때 개선할 수 있는 진행 중 연구라고 덧붙였습니다. 주요 과제는 모든 모달리티가 갖춰진 다중 모달 코호트가 부족하다는 점입니다.