Alibaba запустила бесплатную нейросеть для «оживления» персонажей с изображений

Alibaba запустила бесплатную нейросеть Wan2.2‑Animate с открытым исходным кодом. Она способна «оживлять» людей, персонажей аниме и животных с фото. Для этого ей нужно предоставить исходник с героем и ролик с движениями, которые нужно повторить.

Модель работает в двух режимах. В первом движения и мимика из видео копируются на персонажа с картинки, во втором персонаж в видео заменяется на изображение, а фон остаётся прежним.

По сравнению с предыдущей моделью, новая версия обеспечивает улучшенное качество анимации и более высокую точность передачи языка тела. Разработчики достигли этого благодаря интеграции скелетных и лицевых сигналов.

Модель уже доступна на GitHub и Hugging Face, в генераторе Wan, а также через API на платформе Alibaba Cloud. Её можно скачать и использовать локально — для полноценной работы потребуется видеокарта уровня Nvidia RTX 4090.