Учёные Стэнфорда выяснили: GPT‑4 со временем тупеет

Новое от учёных Стэнфордского университета подтвердило то, на что пользователи Сети жалуются уже несколько недель: ChatGPT Plus на базе GPT‑4 действительно стала глупее — в отличие от GPT‑3.5, на которой работает бесплатная версия чат-бота.
В своём исследовании авторы сравнивали ответы на разные запросы от чат-бота на базе GPT‑4 и GPT‑3.5. Они обнаружили, что поведение чат-бота и точность ответов на некоторые запросы в новой версии значительно ухудшились.
Авторы сравнивали языковые модели GPT‑4 и GPT‑3.5, выпущенные в марте и январе. Они обнаружили, что за это время точность GPT‑4 заметно упала, тогда как у GPT‑3.5, напротив, выросла.
Например, точность ответа на вопрос, является ли 17077 простым числом, упала на 95,2% — тогда как у GPT‑3.5, напротив, повысилась с 7,4% до 86,8%. Также шанс успешного выполнения написанного нейросетью кода понизилась в актуальных версиях обеих моделей.
Ранее вице-президент OpenAI Питер Велиндер уже на обвинения пользователей ChatGPT Plus:
Нет, мы не сделали GPT‑4 тупее. Всё с точностью до наоборот: мы делаем каждую новую версию умнее предыдущей.
Сейчас у нас такая гипотеза: когда вы используете что-то более активно, вы начинаете замечать проблемы, которых не видели ранее.
Питер Велиндер
вице-президент по продукту в OpenAI
В одном из ответов на этот твит Велиндер предоставить доказательство, что чат-бот стал работать хуже. Исследование от стэнфордских учёных появилось через 5 дней после этого — и ответа от OpenAI пока не последовало.
Это уже не первый раз, когда GPT‑4 обвиняют в предоставлении недостоверной информации. В марте аналитики NewsGuard , что ChatGPT на базе GPT‑4 проще заставить говорить неправду — тогда как сама OpenAI говорит об увеличении точности ответов на 40% по сравнению с GPT‑3.5. В частности, в тестах NewsGuard новая версия нейросети реже опровергала недостоверные сведения — включая неправдивые данные о современных событиях и теории заговоров.















Лучшие предложения
15 достойных внимания товаров со скидками до 67% на «чёрной пятнице»
iPhone 17 Pro подешевеет до 99 990 рублей в «чёрную пятницу». Добавляйте в корзину сейчас!
Надо брать: компактная беговая дорожка для дома со скидкой 66%
Наушники OnePlus Buds Pro 3 отдают со скидкой 58% на распродаже
Находки AliExpress: самые интересные и полезные товары недели
Забираем удобную ортопедическую подушку с эффектом памяти за 1 959 рублей
10 пар зимней обуви с хорошими скидками на «чёрной пятнице»
21 комплект постельного белья, который преобразит вашу спальню
Нейросети меняют рынок труда. Что нужно сделать сегодня, чтобы оставаться востребованным завтра
Коля идёт на смену! Как проходит первый день новичка на складе Ozon
Пазл жизни: что нужно знать о донорстве костного мозга
ИГРА: Полный бак бонусов