В OpenAI предупредили об открытии ИИ, который может угрожать человечеству

Накануне изгнания генерального директора OpenAI Сэма Альтмана несколько штатных исследователей компании написали совету директоров письмо, предупреждающее об открытии мощного искусственного интеллекта, который, по их словам, «может угрожать человечеству». Об этом со ссылкой на собственные источники пишет Reuters.

Именно это письмо назвали одним из факторов в длинном списке жалоб совета директоров, приведших к увольнению Альтмана. Reuters не удалось лично побеседовать с авторами или получить комментарии от OpenAI. Однако после такого запроса компания во внутреннем сообщении сотрудникам рассказала о наличии некоего проекта под названием Q* (произносится как Q‑Star).

Некоторые сотрудники OpenAI считают, что Q* может стать прорывом в так называемом общем искусственном интеллекте (AGI). OpenAI характеризует его как автономную систему, которая превосходит людей в большинстве экономически ценных задач.

По словам одного из источников, пока Q* выполняет математические задачи только на уровне учеников начальной школы, но успешное выполнение таких тестов вселяет в исследователей большой оптимизм в отношении перспектив его развития.

Исследователи считают, что математика — это передовой рубеж развития генеративного ИИ. В настоящее время он хорошо умеет писать и переводить, статистически предсказывая следующее слово, и ответы на один и тот же вопрос могут сильно различаться. Но покорение математики (где есть только один правильный ответ) подразумевает, что у ИИ будут более широкие способности к рассуждению, напоминающие человеческий интеллект. Это можно применить, например, к новым научным исследованиям, считают эксперты.

В своём письме совету директоров исследователи озаботились мощью ИИ и потенциальной опасностью. Они также отметили работу особой группы «учёных по искусственному интеллекту», существование которой подтвердили и другие многочисленные источники. По словам одного из них, эта команда изучает, как оптимизировать существующие модели ИИ, чтобы улучшить их рассуждения и, в конечном итоге, выполнять с их помощью научную работу.

Альтман возглавил усилия по превращению ChatGPT в одно из самых быстрорастущих программных приложений в истории и привлёк инвестиции и вычислительные ресурсы от Microsoft, необходимые для приближения такого AGI. А незадолго до своего увольнения на саммите мировых лидеров в Сан-Франциско он анонсировал некие «серьёзные достижения, которые уже не за горами».

Четыре раза за всю историю OpenAI, последний раз был только пару недель назад, мне приходилось присутствовать в комнате, когда мы как бы отодвигаем завесу невежества и приближаемся к границе открытий, и делать это — профессиональная честь всей жизни.

Сэм Альтман

Днём позже правление уволило Альтмана.

Возможно, когда-то все эти решения и события лягут в основу книги, целого фильма или даже учебника истории.