Представьте, если бы искусственный интеллект (ИИ) мог превращать образы из вашего воображения в реальные изображения? Хотя это фантастично, исследователи смогли добиться именно этого.
Исследователи обнаружили, что они могут реконструировать изображения по активности мозга, используя модель Stable Diffusion. Испытуемым показывали определённые картинки и в этот момент проводили функциональную магнитно-резонансную томографию фМРТ.
Сначала учёные научились предсказывать скрытое представление по сигналам фМРТ. Затем в модель добавили шум, а после декодировали эти текстовые представления из сигналов фМРТ и использовали их в качестве входных данных для создания окончательного изображения.
Ниже можно увидеть, как модели по сигналам фМРТ удалось воссоздать картинки, увиденные людьми (сверху воссозданные, сверху — реальные).
Graduate School of Frontier Biosciences at Osaka University