Искусственный интеллект, преобразующий текст в изображение, сейчас стал настоящим мейнстримом, но аналогичные нейросети для видео только набирают обороты. В авангарде этого направления стоит стартап Runway, который выпустил уже вторую модель ИИ, генерирующего короткие ролики по нескольким словам.
Runway предлагает веб-редактор видео, который специализируется на инструментах машинного обучения, таких как удаление фона. Эта компания помогла разработать модель преобразования текста в изображение Stable Diffusion, а в феврале анонсировала свою первую модель редактирования видео на основе искусственного интеллекта Gen-1.
Gen-1 была сосредоточена на преобразовании существующих видеоматериалов, позволяя пользователям применять наложение определенного стиля с картинки на ролик. Модель Gen-2 же больше ориентирована на создание видео с нуля.
Демонстрационные ролики, которыми поделились в Runway, короткие, нестабильные и уж точно не фотореалистичные, но даже такие кадры неплохо демонстрирует понимание ИИ трёхмерного пространства, пропорций и логики перемещения объектов.
Пока Gen-2 нет в свободном доступе, но представитель Runway заверил, что компания «предоставит широкий доступ в ближайшие недели».
Перспективы внедрения такого ИИ уже пугают экспертов. Ведь нейросети для работы с видео обещают не только новые творческие возможности, но и новые угрозы для дезинформации.