Исследование: люди уже не могут отличать общение с человеком и ChatGPT

В 1637 году французский философ и математик Рене Декарт задался вопросом о том, может ли машина мыслить. Спустя более чем 300 лет английский математик Алан Тьюринг переформулировал философский запрос в более прикладной, который впоследствии лёг в основу так называемого теста Тьюринга. Он спрашивал: «Может ли машина общаться с человеком таким образом, чтобы он не понял, что общается с роботом, а не с себе подобным?».

Теперь же учёные из Калифорнийского университета в Сан-Диего считают, что у них есть ответ на этот вопрос. Они провели исследование, в рамках которого испытуемые общались в течение пяти минут с другими людьми или с разными моделями искусственного интеллекта.

В результате удалось выяснить, что в 54% случаев люди принимали GPT‑4 за другого человека. Версия GPT‑3.5 достигла показателя в 50%. При этом люди распознавали других людей с вероятностью 67%. Может показаться, что достижения ChatGPT на уровне угадывания. Однако исследователи подчёркивают, что в данном случае участники эксперимента знали, что могут общаться с человеком или нейросетью. В обычной жизни люди в гораздо меньшей степени готовы к тому, что их собеседником может быть ИИ.

Кроме того, для сравнения в эксперименте участвовала система ELIZA. Её придумали в Массачусетском технологическом институте в середине 1960‑х годов как раз для прохождения теста Тьюринга. Для своего времени это была впечатляющая машина, однако, конечно, она не могла использовать большие языковые данные, которыми оперируют современные нейросети.

ELIZA ограничивалась более обрывистыми стандартными ответами. На коротком отрезке времени она могла кого-то ввести в заблуждение. Но вскоре общение с машиной становилось очевидным.

Современные языковые модели бесконечно гибки. Они способны синтезировать ответы на широкий круг вопросов, говорить на разных языках, использовать разные специфические обороты и термины из различных социальных групп, демонстрировать даже характер и ценности. Это огромный шаг вперёд по сравнению с тем, что программируется вручную человеком, каким бы умным и талантливым он ни был.

Нелл Уотсон

исследователь ИИ

Если бы ELIZA набрала баллы также на уровне угадывания, то можно было бы говорить, что участники эксперимента просто случайным образом пытались «попасть в яблочко». А в эксперименте ELIZA за человека приняли только 22% испытуемых.

Авторы работы уверены, что это доказывает: ChatGPT способен пройти тест Тьюринга. Впрочем, они не считают, что это равносильно признанию, будто нейросети так же умны, как и люди. Тест Тьюринга в этом виде сосредоточен на том, чтобы испытуемый выявил машину по каким-то лингвистическим или социальным аспектам, а не по интеллектуальным. Грубо говоря, он о том, может ли нейросеть убеждать людей, что она — человек, а не о том, способна ли она мыслить подобно человеку.

Исследователи подчёркивают, что их эксперимент доказывает не только прорывные возможности нейросетей, но и их потенциальную опасность. Ведь подобные модели могут использоваться мошенниками.