Учёные Стэнфорда выяснили: GPT-4 со временем тупеет
![chatgpt](https://cdn.lifehacker.ru/wp-content/uploads/2023/07/intro-1568398743_1689865130-288x144.jpg)
Новое исследование от учёных Стэнфордского университета подтвердило то, на что пользователи Сети жалуются уже несколько недель: ChatGPT Plus на базе GPT-4 действительно стала глупее - в отличие от GPT-3.5, на которой работает бесплатная версия чат-бота.
В своём исследовании авторы сравнивали ответы на разные запросы от чат-бота на базе GPT-4 и GPT-3.5. Они обнаружили, что поведение чат-бота и точность ответов на некоторые запросы в новой версии значительно ухудшились.
Авторы сравнивали языковые модели GPT-4 и GPT-3.5, выпущенные в марте и январе. Они обнаружили, что за это время точность GPT-4 заметно упала, тогда как у GPT-3.5, напротив, выросла.
Например, точность ответа на вопрос, является ли 17077 простым числом, упала на 95,2% - тогда как у GPT-3.5, напротив, повысилась с 7,4% до 86,8%. Также шанс успешного выполнения написанного нейросетью кода понизилась в актуальных версиях обеих моделей.
Ранее вице-президент OpenAI Питер Велиндер уже отвечал на обвинения пользователей ChatGPT Plus:
Нет, мы не сделали GPT-4 тупее. Всё с точностью до наоборот: мы делаем каждую новую версию умнее предыдущей.
Сейчас у нас такая гипотеза: когда вы используете что-то более активно, вы начинаете замечать проблемы, которых не видели ранее.
Питер Велиндер
вице-президент по продукту в OpenAI
В одном из ответов на этот твит Велиндер попросил предоставить доказательство, что чат-бот стал работать хуже. Исследование от стэнфордских учёных появилось через 5 дней после этого - и ответа от OpenAI пока не последовало.
Это уже не первый раз, когда GPT-4 обвиняют в предоставлении недостоверной информации. В марте аналитики NewsGuard обнаружили, что ChatGPT на базе GPT-4 проще заставить говорить неправду - тогда как сама OpenAI говорит об увеличении точности ответов на 40% по сравнению с GPT-3.5. В частности, в тестах NewsGuard новая версия нейросети реже опровергала недостоверные сведения - включая неправдивые данные о современных событиях и теории заговоров.
Лучшие предложения
Лучшие предложения недели: скидки от AliExpress, Rendez Vous, Zarina и других магазинов
12 полезных мелочей, которые пригодятся в походе
12 качественных кроссовок с AliExpress не дороже 5 000 рублей
10 классных вещей от Nume — собственного бренда Lamoda
Цена дня: качественная GaN-зарядка Asometech за 1 279 рублей
Находки AliExpress: самые интересные и полезные товары
15 интересных товаров дешевле 500 рублей
10 оригинальных кружек-непроливаек с AliExpress
Число гостиничных номеров в России превысило миллион и продолжает расти
Центр домашних развлечений и стильный аксессуар: почему стоит купить цифровую приставку
ТЕСТ: Френдзона или любовь? Узнайте, какие у вас отношения с деньгами
Магистратура от VK: эксперты компании научат управлять искусственным интеллектом