Учёные усовершенствовали метод реконструкции изображений по активности мозга

Новая модель Brain-IT преобразует данные МРТ в изображения и демонстрирует высокую точность даже при ограниченном объёме исходных данных

3 октября 2026, 01:03Искусственный интеллектDarth Sahara0

Исследователи создали ИИ-модель Brain-IT, которая восстанавливает изображения, которые человек видел, основываясь на данных функциональной МРТ (fMRI). Основная трудность предыдущих подходов заключалась не только в способности создать правдоподобное изображение, но и в его соответствии действительности: диффузионная модель могла правильно идентифицировать объекты, но ошибаться в их размещении, цветах и других деталях. В Brain-IT эти два типа информации были специально разделены.

В основе модели лежит преобразование активности мозга в компактное представление. Авторы объединяют около 40 тысяч вокселей — объёмных единиц данных fMRI — в 128 функциональных кластеров. В каждый кластер помещаются воксели с аналогичными функциональными характеристиками. Затем каждый кластер трансформируется в Brain Token — представление содержащейся в нём информации, с которым уже работает Transformer.

Далее Brain-IT извлекает из этих токенов два различных набора визуальных признаков. Первый описывает смысл изображения и передаётся на вход диффузионной модели для определения, какие объекты и сцены должны быть получены. Второй набор содержит низкоуровневую визуальную информацию — главным образом общую структуру и размещение элементов. На основе этих признаков система сначала восстанавливает черновой вариант изображения, который затем становится отправной точкой для диффузионной генерации.

Такой подход необходим, поскольку только семантической информации недостаточно для точной реконструкции. Диффузионная модель может создать изображение, соответствующее смыслу, но изменить композицию или цвета. Brain-IT сначала фиксирует грубую структуру, а затем уточняет её, опираясь на семантические признаки. По данным авторов, сочетание двух веток логики работы обеспечивает более точное соответствие исходному изображению, чем использование каждой из них в отдельности.

Для проверки модели был использован Natural Scenes Dataset — набор данных fMRI восьми человек, которым демонстрировались различные фотографии. В основном сравнении Brain-IT превзошла предыдущие методы по 7 из 8 использованных метрик. Например, значение SSIM, отражающее структурное сходство изображений, составило 0,486 против 0,431 у предыдущего лучшего результата MindEye2, а корреляция пикселей возросла до 0,386 против 0,322.

Особенно впечатляющим оказался результат, полученный при использовании модели с данными fMRI нового человека. Авторы отмечают, что это сопоставимо с показателями предыдущих методов, обучавшихся на полном наборе из 40 часов данных, при 1 часе fMRI у Brain-IT.

Исследователи также проверили, насколько модель сохраняет свою эффективность при ещё меньшем объёме данных. Качественные реконструкции удалось получить при 30 и 15 минутах данных нового участника: исследователи называют это первым, по их данным, случаем получения реконструкций такого качества при 15-минутной записи. Однако эти результаты не означают, что система может буквально «считать изображение из мозга» за 15 минут: качество реконструкций остаётся ограниченным, а отдельные объекты и детали могут восстанавливаться некорректно.

Примечательно, что анализ работы механизма внимания Brain-IT продемонстрировал специализацию отдельных токенов. Разные токены систематически вносили вклад в разные области предсказываемого изображения, а некоторые в основном были связаны с семантически значимыми зонами, такими как лица, конечности или текст. В настоящее время это скорее особенность работы модели, чем готовая новая карта зрительной коры.

Важно отметить, что Brain-IT не преобразует fMRI в точную видеозапись активности мозга. Задача модели гораздо более специфична: извлечь из ограниченного и шумного сигнала достаточно информации, чтобы отдельно восстановить содержание изображения и его структуру, а затем объединить их с помощью генеративной модели.

Источники:ICLR 2026Искусственный интеллект0Искусственный интеллектКомпьютерное зрение56 минут назад