OpenAI представила Sora 2 — новую версию ИИ для генерации видео и аудио

OpenAI вместе с соцсетью в стиле TikTok показала Sora 2 — обновлённую модель для генерации видео и аудио, которая умеет создавать фотореалистичные сцены и синтезировать речь. Главная новинка — функция Cameo, позволяющая добавлять в ролики самого себя или других людей. Для этого нужно один раз записать видео и аудио, чтобы подтвердить личность.

По словам разработчиков, Sora 2 работает с физикой движений лучше предшественницы. Если первая версия путалась в простых вещах вроде удара баскетбольного мяча о щит, то новой модели это даётся без проблем. В примерах OpenAI показала гимнастические и скейтбордистские трюки, а также боевые искусства — хотя местами алгоритм всё ещё ошибается, в частности, со сложными предметами. Также модель научилась генерировать речь — в том числе на русском.

По словам первых пользователей, Sora 2 отлично справляется с анимированием мемов, превращением любых роликов в стильные аниме-сцены, таймлапсами и вставкой персонажей мультфильмов в фильмы. Для роликов можно выбирать горизонтальный или вертикальный формат, а их продолжительность ограничена 10 секундами.

Некоторые запросы система блокирует: так, нельзя сгенерировать видео со Шреком или штурмовиком из «Звёздных войн». При этом нейросеть без проблем даёт использовать образ Пикачу.

Sora 2 уже доступна в приложении Sora на iOS, но пока только по приглашениям.