Китайские исследователи впервые представили убедительные доказательства того, что крупные языковые модели (LLM) способны формировать представления об объектах, сходные с теми, что лежат в основе человеческого мышления. Это открытие может повлиять на развитие искусственного интеллекта и изменить представления о его когнитивных способностях.
Авторы работы из Академии наук КНР и Южно-Китайского технологического университета провели поведенческие эксперименты, а также применили вычислительное моделирование и нейровизуализацию, чтобы изучить, насколько концепты объектов в LLM совпадают с представлениями в человеческом мозге. Они использовали модели ChatGPT‑3.5 (только текст) и Gemini Pro Vision 1.0 (мультимодальные данные), которым, как и людям, предлагали выбрать лишний объект из трёх представленных.
В результате учёные получили 4,7 миллиона суждений о сходстве между 1 854 объектами из реального мира — от животных до мебели. Анализ выявил 66 различных измерений, по которым ИИ классифицировал предметы. Эти категории охватывали не только семантические признаки вроде принадлежности к пище, но и такие свойства, как текстура, температура, назначение (для детей или для взрослых), а также различия между морской и наземной средой.
Особенно сильное сходство между ИИ и человеком наблюдалось в семантических категориях, а вот визуальные аспекты у языковых моделей, такие как форма, оставались менее выраженными. В мультимодальной версии (MLLM) соответствие человеческому восприятию было значительно выше.
Также учёные выявили совпадение между активацией участков мозга человека, отвечающих за восприятие окружающей среды, и векторными представлениями объектов у ИИ. Особенно выделилась парагиппокампальная область мозга, связанная с распознаванием сцен.
Авторы подчёркивают, что, несмотря на различия, представления об объектах у LLM отражают фундаментальные черты человеческого понимания понятий и категорий. Это может стать шагом к созданию более «человечных» когнитивных систем — от интерфейсов до гуманоидных роботов.
