Учёные Стэнфорда выяснили: GPT‑4 со временем тупеет

Новое исследование от учёных Стэнфордского университета подтвердило то, на что пользователи Сети жалуются уже несколько недель: ChatGPT Plus на базе GPT‑4 действительно стала глупее — в отличие от GPT‑3.5, на которой работает бесплатная версия чат-бота.

В своём исследовании авторы сравнивали ответы на разные запросы от чат-бота на базе GPT‑4 и GPT‑3.5. Они обнаружили, что поведение чат-бота и точность ответов на некоторые запросы в новой версии значительно ухудшились.

Авторы сравнивали языковые модели GPT‑4 и GPT‑3.5, выпущенные в марте и январе. Они обнаружили, что за это время точность GPT‑4 заметно упала, тогда как у GPT‑3.5, напротив, выросла.

Например, точность ответа на вопрос, является ли 17077 простым числом, упала на 95,2% — тогда как у GPT‑3.5, напротив, повысилась с 7,4% до 86,8%. Также шанс успешного выполнения написанного нейросетью кода понизилась в актуальных версиях обеих моделей.

Ранее вице-президент OpenAI Питер Велиндер уже отвечал на обвинения пользователей ChatGPT Plus:

Нет, мы не сделали GPT‑4 тупее. Всё с точностью до наоборот: мы делаем каждую новую версию умнее предыдущей.

Сейчас у нас такая гипотеза: когда вы используете что-то более активно, вы начинаете замечать проблемы, которых не видели ранее.

Питер Велиндер

вице-президент по продукту в OpenAI

В одном из ответов на этот твит Велиндер попросил предоставить доказательство, что чат-бот стал работать хуже. Исследование от стэнфордских учёных появилось через 5 дней после этого — и ответа от OpenAI пока не последовало.

Это уже не первый раз, когда GPT‑4 обвиняют в предоставлении недостоверной информации. В марте аналитики NewsGuard обнаружили, что ChatGPT на базе GPT‑4 проще заставить говорить неправду — тогда как сама OpenAI говорит об увеличении точности ответов на 40% по сравнению с GPT‑3.5. В частности, в тестах NewsGuard новая версия нейросети реже опровергала недостоверные сведения — включая неправдивые данные о современных событиях и теории заговоров.