Новое исследование от учёных Стэнфордского университета подтвердило то, на что пользователи Сети жалуются уже несколько недель: ChatGPT Plus на базе GPT-4 действительно стала глупее - в отличие от GPT-3.5, на которой работает бесплатная версия чат-бота.
В своём исследовании авторы сравнивали ответы на разные запросы от чат-бота на базе GPT-4 и GPT-3.5. Они обнаружили, что поведение чат-бота и точность ответов на некоторые запросы в новой версии значительно ухудшились.
Авторы сравнивали языковые модели GPT-4 и GPT-3.5, выпущенные в марте и январе. Они обнаружили, что за это время точность GPT-4 заметно упала, тогда как у GPT-3.5, напротив, выросла.
Например, точность ответа на вопрос, является ли 17077 простым числом, упала на 95,2% - тогда как у GPT-3.5, напротив, повысилась с 7,4% до 86,8%. Также шанс успешного выполнения написанного нейросетью кода понизилась в актуальных версиях обеих моделей.
Ранее вице-президент OpenAI Питер Велиндер уже отвечал на обвинения пользователей ChatGPT Plus:
Нет, мы не сделали GPT-4 тупее. Всё с точностью до наоборот: мы делаем каждую новую версию умнее предыдущей.
Сейчас у нас такая гипотеза: когда вы используете что-то более активно, вы начинаете замечать проблемы, которых не видели ранее.
Питер Велиндер
вице-президент по продукту в OpenAI
В одном из ответов на этот твит Велиндер попросил предоставить доказательство, что чат-бот стал работать хуже. Исследование от стэнфордских учёных появилось через 5 дней после этого - и ответа от OpenAI пока не последовало.
Это уже не первый раз, когда GPT-4 обвиняют в предоставлении недостоверной информации. В марте аналитики NewsGuard обнаружили, что ChatGPT на базе GPT-4 проще заставить говорить неправду - тогда как сама OpenAI говорит об увеличении точности ответов на 40% по сравнению с GPT-3.5. В частности, в тестах NewsGuard новая версия нейросети реже опровергала недостоверные сведения - включая неправдивые данные о современных событиях и теории заговоров.
