Учёные с помощью нейросети расшифровали, о чём думает человек

Американские учёные об успешном испытании семантического декодера — системы на базе МРТ и нейросети, которая позволяет понять, о чём думает человек. Он может помочь людям, которые потеряли возможность общаться языком, жестами и текстом.

⚡ Самое интересное и важное за день — в телеграм-канале «Лайфхакер. Новости».

Это первая система, способная реконструировать непрерывную речь без импланта в мозге. Она работает на базе идей, семантики и значений, а не конкретных слов. То есть, позволяет передать мысль, но не точные формулировки.

Для этого добровольцам провели инструктаж и поместили их в аппарат функциональной магнитно-резонансной томографии (фМРТ). Там они слушали подкасты, придумывали истории и смотрели видео без звука. Полученные данные скормили нейронной языковой модели на базе GPT и смогли восстановить общую идею того, что слышали или думали люди.

Оказалось, что хотя нейросеть плохо справляется с личными местоимениями, она способна перефразировать, что слышит пациент. И даже когда испытуемые придумывали собственные истории или смотрели немое кино, декодер мог уловить основные мысли и передать их.

Сравнение того, что слышал участник эксперимента, и что расшифровал семантический декодер. Голубым помечено точное попадание, фиолетовым — передача смысла, оранжевым — ошибка интерпретации. Иллюстрация: University of Texas at Austin

Посколько фМРТ выполняется не мгновенно, она не подходит для улавливания каждого слова. Но с её помощью можно получить смесь из информации, которую пациент думал в течение нескольких секунд. В результате можно отследить, как развивалась идея в голове человека, хотя точные формулировки и теряются в процессе.

По словам исследователей, эти результаты приближают нас к будущему, когда машины смогут читать мысли и транскрибировать их. Это может вызывать беспокойство, что кто-то получит информацию без согласия другого человека — например, пока тот спит.

Но авторы исследования отмечают, что без специального инструктажа испытуемых их мысли читать не получится. Кроме того, у трёх добровольцев удалось сбить машину, когда они, слушая подкаст, параллельно делали что-то ещё: считали в уме, называли животных или рассказывали другую историю про себя.

Команда надеется, что в будущем удастся ускорить процесс, чтобы сканировать мысли в реальном времени.