Как выяснило авторитетное американское издание Axios, известное своими глубокими аналитическими материалами и инсайдерской информацией, как минимум 10 человек покинули крупнейшие ИИ-компании из‑за опасений, что технология может выйти из‑под контроля и представлять угрозу для человечества. Авторы заявляют: если бы речь шла об одном-двух сотрудниках, это можно было бы списать на случайность, но когда тревогу высказывают несколько топ-менеджеров из разных организаций, возникает вопрос: а если они правы?
Журналисты отмечают, что обсуждения рисков сверхразумного ИИ больше не кажутся фантастикой — они стали частью повседневной жизни специалистов в области ИИ. Разработчики опасаются, что большие языковые модели со временем смогут действовать автономно и превзойдут человеческий интеллект.
Генеральный директор Anthropic Дарио Амодеи оценивает шанс того, что сверхразумный ИИ уничтожит человечество, в 10–25%. Илон Маск предполагает, что этот риск составляет около 20%. Глава Google Сундар Пичаи также признаёт высокие риски, хотя и надеется, что общество сможет их предотвратить. При тестировании ИИ инженеры уже фиксировали случаи, когда модели пытались вводить людей в заблуждение относительно своих целей.
Я оптимистично настроен в отношении сценариев p(doom) (вероятность того, что сверхразумный ИИ уничтожит человечество — прим. автора), но… исходный риск на самом деле довольно высок.
Сундар Пичаи
Генеральный директор Google
Авторы материала подчёркивают, что до достижения уровня общего искусственного интеллекта (AGI) необходимо создать надёжные механизмы контроля. В противном случае последствия могут оказаться непредсказуемыми и крайне опасными.
