Реконструкция визуальных образов в человеческом мозге измеряется с помощью магнитно-резонансной томографии (МРТ), сообщается на сайте scmp.com.
«Чтобы воссоздать зрительные образы, мы декодировали активность головного мозга в глубоких нейронных сетях (ДНН). Наш алгоритм реконструкции начинается с заданного начального изображения и итеративно (это выполнение работ параллельно с непрерывным анализом полученных результатов и корректировкой предыдущих этапов работы – прим. ВЗГЛЯД) оптимизирует значения пикселей, так что функции ДНН текущего изображения становятся похожими на те, которые декодируются из активности мозга. Мы применили наш алгоритм к активности мозга, собранной во время мысленных образов», – отмечают японские ученые в подписи к видеоролику, размещенном на YouTube.
Слева: воображаемые изображения. Справа: восстановленные изображения. Показан итерационный процесс оптимизации.
Новая методика позволяет ученым расшифровывать более сложные «иерархические» образы, имеющие несколько слоев цвета и структуры, например, изображение птицы или человека в ковбойской шляпе.
«Мы изучаем методы реконструкции или воссоздания образа, который человек видит, просто глядя на мозговую активность человека, – говорит один из ученых. – Наш предыдущий метод состоял в том, чтобы предположить, что изображение состоит из пикселей или простых фигур. Но известно, что наш мозг обрабатывает визуальную информацию иерархически, извлекая различные уровни признаков или компонентов различной сложности».
Новое исследование позволяет компьютерам обнаруживать объекты, а не только двоичные пиксели. Для исследования в течение 10 месяцев три субъекта демонстрировали естественные изображения (например, фотографии птицы или человека), искусственные геометрические фигуры и буквы алфавита за разные промежутки времени.
В некоторых случаях активность мозга измерялась во время просмотра субъектом одного из 25 изображений. В других случаях он регистрировался позже, когда испытуемым предлагалось подумать об изображении, которое они показывали ранее.
После сканирования мозговой деятельности компьютер реверс-инженерии считывал декодированную информацию для создания визуализаций мыслей субъектов.