Учёные из Института Вейцмана в Реховоте создали ИИ-инструмент, который с высокой точностью воссоздаёт изображение, увиденное человеком, по снимкам его мозга. Технология работает и в обратную сторону: по изображению можно предсказать активность мозга.
Авторы считают, что разработка поможет изучать мозг, а также будет полезна людям с синдромом «запертого человека» и может пригодиться для воссоздания содержания снов.
Как это устроено
Берут новое изображение, например леопарда.
Энкодер предсказывает, как будет выглядеть фМРТ-снимок мозга человека, смотрящего на него.
Декодер по этому снимку реконструирует картинку.
Сначала результат мало похож на оригинал, но многократное обучение заметно повышает качество.
Данные и обучение
Работа началась с общедоступных данных фМРТ: добровольцам показывали сотни изображений, часть данных получена на сканерах высокого разрешения. Затем восьми добровольцам в сканере показали около 9 тыс. изображений.
Ключевая особенность декодера: он предсказывает и структуру изображения (например, расположение цветов), и его содержание (например, связку бананов на тарелке). Это даёт заметно более чёткие картинки.
Данных не хватало, поэтому обучили ещё одну модель, предсказывающую активность мозга по изображению. Энкодер и декодер используют вместе и улучшают параллельно.
Благодаря этому модели можно обучать на любом числе изображений, даже тех, что не показывали людям в сканере. Около 70 % обучающих данных не сопоставлены со снимками фМРТ.
Энкодеру после минимальной калибровки хватает снимка нового человека, но обычно его обучают на примерно 40 часах фМРТ-данных на каждого испытуемого. Декодеру достаточно одного часа.
Объединив данные нескольких исследований, учёные выделили области мозга, функции которых, вероятно, одинаковы у всех людей. Одна реагировала на изображения еды, другая — на спортивную тематику. Авторы не исключают, что технология поможет узнать новое о мозге.
Планы и этические вопросы
Далее исследователи хотят перейти от изображений к видео и аудио. Конечная цель — реконструировать то, о чём человек думает или что представляет, а также сны.
Такая технология поднимает вопрос приватности: ИИ теоретически можно использовать для реконструкции мыслей или воспоминаний без согласия человека.
Нейробиологи годами пытаются воссоздавать увиденное по фМРТ. Первые попытки давали размытые картинки, но с оптимизацией сканирований и инструментов интерпретации результаты улучшились. Прежние методы не давали подобного качества.
Результаты представили в прошлом месяце на конференции Cognitive Computational Neuroscience в Нью-Йорке.
Отзывы коллег
«Сама идея использовать такой подход для терапевтической помощи людям с неврологическими состояниями невероятно воодушевляет» — Джуди Иллес, нейроэтик и профессор неврологии Университета Британской Колумбии, назвавшая работу «великолепной».
Томми Спраг, нейробиолог из Калифорнийского университета в Санта-Барбаре, отмечает: результаты впечатляют, но если появится способ незаметно извлекать информацию о мыслях, «150 лет научной фантастики могут воплотиться в реальности в любой момент, и это во многих отношениях тревожно».