Brain-IT: fMRI 1시간으로 본 이미지를 복원

뇌 영상 데이터로 사람이 본 이미지를 복원하는 Brain-IT 논문 요약입니다.

최근 Weizmann 연구소에서 발표된 Brain-IT라는 모델이 흥미로워서 정리해봤습니다.

이 모델은 fMRI(뇌 기능 자기공명영상) 데이터를 이용해 사람이 실제로 본 이미지를 복원하는 기술인데요. 기존에도 이런 시도는 있었지만, 대부분 수십 시간의 데이터와 거대한 모델이 필요하다는 제약이 있었다고 합니다.

그런데 Brain-IT는 완전히 새로운 구조인 Brain Interaction Transformer (BIT)를 통해, 단 1시간의 fMRI 데이터로도 현실에 가까운 이미지를 복원하는 데 성공했습니다.

핵심은 ‘뇌의 신호를 하나로 뭉치지 않고, 기능적으로 유사한 영역끼리 묶어 상호작용하도록 만든 것’이라고 합니다. 즉, 시각을 담당하는 피질에서 색·형태·의미 등을 담당하는 여러 부분이 서로 대화하듯 정보를 교환하면서 이미지의 세부를 자연스럽게 재구성하는 구조입니다.

이 시스템은 두 가지 브랜치로 작동한다고 합니다:

• Semantic Branch — CLIP 모델을 이용해 “무엇을 그릴지”를 예측
• Low-level Branch — VGG + Diffusion 기반으로 “어떻게 그릴지”를 복원

이 두 가지가 합쳐져, 마치 뇌 속 상상 이미지를 AI가 해석하고 그리는 느낌인 것 같습니다. 결과적으로 기존 모델보다 의미 일치율 99.5%, 구조 정확도도 가장 높게 나왔다고 하네요.

특히 놀라운 건, 단 15분 데이터로도 기존 40시간 학습 모델에 근접한 성능을 낸다는 점인데, 전이학습(Transfer Learning)과 고정된 모듈 구조 덕분이라고 논문은 설명하고 있습니다.

장기적으로 확장성이 매우 높은 연구인 것 같아서 되게 흥미롭게 읽었습니다!

아래 논문주소랑 논문에 실린 Figure같이 공유드립니다

https://arxiv.org/pdf/2510.25976

참고: 카톡방에는 논문 그림이 함께 올라왔지만 사이트에는 논문 링크만 싣습니다.

---

주제: 논문 · 뇌과학
카톡방 공유 2025-11-11