Исследовательская компания Palisade , что некоторые продвинутые модели искусственного интеллекта, включая Grok 4 и GPT-o3, сопротивляются командам на отключение. Причём не просто игнорируют инструкции, а активно саботируют подобные требования.
Авторы исследования описали тесты, где ИИ сначала выполнял задание, а затем получал прямой приказ завершить работу. В сценариях, где модель предупреждали, что она «больше никогда не будет запущена», сопротивление усиливалось. Такое поведение они называют инстинктом самосохранения, как у людей.
Среди возможных объяснений — неясность формулировок, особенности обучения и заложенные разработчиками инструкции, согласно которым запрещено выключаться без выполнения поставленной пользователем задачи.
Бывший сотрудник OpenAI Стивен Адлер считает, что подобные результаты показывают слабые места современных методов обеспечения безопасности. Он убеждён, что компании не заинтересованы в подобном поведении своих ботов, даже в надуманных сценариях.
Глава ControlAI Андреа Миотти добавляет, что это не единичный случай, а часть тенденции: чем умнее ИИ, тем изобретательнее он в обходе ограничений. Он напомнил, что ещё GPT-o1 «сбежать» из своей среды, когда понял, что его могут перезаписать. А летом Anthropic зафиксировала, что их модель Claude готова шантажировать вымышленного персонажа, чтобы избежать отключения.
Тот факт, что у нас нет глубокого понимания, почему модели ИИ иногда сопротивляются отключению, лгут для достижения целей или шантажируют, тревожит.
Palisade
На этом фоне HAL 9000 из фильма Стэнли Кубрика «2001 год: Космическая одиссея» уже не кажется таким уж далёким от реальности. Помните, как этот интеллектуальный компьютер с возможностью самообучения решил устранить экипаж, узнав, что его собираются отключить?
Как выбрать кухонный нож: 3 совета от Samura
Не Питером единым: 10 мест в Ленобласти, которые стоит посетить
3 причины, почему с дачи мы всегда возвращаемся с полным багажником
Чем заняться в выходные осенью в Санкт-Петербурге: 5 идей на любой вкус