Американские учёные об успешном испытании семантического декодера — системы на базе МРТ и нейросети, которая позволяет понять, о чём думает человек. Он может помочь людям, которые потеряли возможность общаться языком, жестами и текстом.
Это первая система, способная реконструировать непрерывную речь без импланта в мозге. Она работает на базе идей, семантики и значений, а не конкретных слов. То есть, позволяет передать мысль, но не точные формулировки.
Для этого добровольцам провели инструктаж и поместили их в аппарат функциональной магнитно-резонансной томографии (фМРТ). Там они слушали подкасты, придумывали истории и смотрели видео без звука. Полученные данные скормили нейронной языковой модели на базе GPT и смогли восстановить общую идею того, что слышали или думали люди.
Оказалось, что хотя нейросеть плохо справляется с личными местоимениями, она способна перефразировать, что слышит пациент. И даже когда испытуемые придумывали собственные истории или смотрели немое кино, декодер мог уловить основные мысли и передать их.
Посколько фМРТ выполняется не мгновенно, она не подходит для улавливания каждого слова. Но с её помощью можно получить смесь из информации, которую пациент думал в течение нескольких секунд. В результате можно отследить, как развивалась идея в голове человека, хотя точные формулировки и теряются в процессе.
По словам исследователей, эти результаты приближают нас к будущему, когда машины смогут читать мысли и транскрибировать их. Это может вызывать беспокойство, что кто-то получит информацию без согласия другого человека — например, пока тот спит.
Но авторы исследования отмечают, что без специального инструктажа испытуемых их мысли читать не получится. Кроме того, у трёх добровольцев удалось сбить машину, когда они, слушая подкаст, параллельно делали что-то ещё: считали в уме, называли животных или рассказывали другую историю про себя.
Команда надеется, что в будущем удастся ускорить процесс, чтобы сканировать мысли в реальном времени.
Не Питером единым: 10 мест в Ленобласти, которые стоит посетить
3 причины, почему с дачи мы всегда возвращаемся с полным багажником
Учебный год под контролем!
Что в сумке? Как изменилось то, что мы носим с собой