Дубляж, озвучка и перевод: обзор нейросети Camb AI для работы с контентом

Что такое Camb AI

Camb AI — это сервис, предлагающий мощные нейросетевые инструменты для профессионального синтеза речи и дубляжа аудио- и видеоконтента более чем на 140 языков. Создателями платформы являются бывшие сотрудники Apple, а также ИИ-исследователи из университета Карнеги — Меллона.

Особенность Camb AI — в высоком качестве перевода и реалистичной передаче эмоций и нюансов речи. Это, в свою очередь, открывает широкие возможности использования ИИ в дубляже для видеопродакшена, подкастов и YouTube-блогов.

Например, с помощью этой нейросети дублировали на китайский независимый арабский психологический триллер Three. Высшая футбольная лига США и Канады MLS применяет сервис для переозвучки комментариев матчей. А в чемпионате Австралии по теннису Australian Open на основе Camb AI делают промовидео и пресс-конференции с игроками.

Как работает Camb AI и что умеет

Нейросеть полагается на модели MARS5 для синтеза речи и BOLI для перевода. Первая способна клонировать оригинальный голос с сохранением стиля, акцента и интонаций на 140 языков, используя всего 2–3 секунды аудио с примером речи. Вторая — задействует проприетарные техники для бесшовного контекстного перевода с правильной грамматикой и разговорными выражениями с малораспространённых языков на популярные и наоборот.

MARS5 имеет открытый исходный код и доступна на GitHub, где её может использовать для локальной работы любой желающий. Исходники BOLI разработчики также планируют предоставить сообществу в ближайшем будущем.

На данный момент Camb AI предлагает несколько инструментов. Основная функция — дубляж загруженных видеофайлов. Помимо этого есть возможность перевода текста и начитка голосом. Также имеется Chrome-расширение для отправки YouTube-видео на переозвучку и API для встраивания нейропереводчика в свои продукты.

Как пользоваться Camb AI

Сервис доступен без каких-либо проблем на территории России, по крайней мере в бесплатной версии. Для начала работы необходимо лишь открыть официальный сайт и создать аккаунт: зарегистрироваться по электронной почте или войти через учётную запись Google.

Дубляж

Самая интересная функция, которая позволит расширить аудиторию вашего контента благодаря автоматической переозвучке с основного языка на десятки других для зарубежных зрителей.

Для добавления видео или аудио следует нажать Create New → New Video, затем перетащить файл либо вставить ссылку с YouTube или Google Drive. Вес видео не ограничен, но в бесплатной версии его длительность не может быть более 2 минут. Для лучших результатов рекомендуется, чтобы в видео было не более 5 говорящих. При этом чем больше у них реплик, тем лучше: для оптимальной адаптации голоса лучше, чтобы оригинал говорил хотя бы 90 секунд.

В свойствах проекта надо указать название, исходный и целевой языки, а также количество говорящих. В дополнительных настройках можно задать описание, включить опцию редактирования автоматически распознанных субтитров перед генерацией видео, а также загрузить фоновый звук или сами субтитры, если они у вас есть. Когда всё будет готово, останется кликнуть Dub Project и немного подождать.

После этого можно скачать результат, нажав Download Dub, или перейти в редактор по клику на Go to Editor.

В редакторе можно легко подправить текст, обрезать видео, а также переозвучить выбранный фрагмент на другом языке.

Результат на выходе выглядит примерно следующим образом. Похожесть голоса не на 100% идеальна, но близка. А вот интонации и эмоции переданы довольно неплохо. Ролик длительностью 11 секунд обрабатывался примерно полминуты, за обработку нейросеть списала 6,5 кредита. Но тут я сглупил: это цена за полную минуту, а всё, что короче, просто округляется — надо было грузить более длинное видео. Не повторяйте мою ошибку.

Озвучка текста

За эту функцию отвечает пункт Text to Speech в боковом меню. Используя её, вы получите нейросетевого диктора, который с чувством, с толком, с расстановкой зачитает любой текст длиной до 500 символов. В бесплатной версии доступно четыре голоса, выбор пола и языка. В платной также будет возможность добавить другие голоса, включая свой собственный.

Работает всё предельно просто. Кликните Text to Speech в боковой панели, вставьте текст и выберите параметры, а затем нажмите Generate Speech. По готовности ниже появится аудиодорожка, её можно прослушать и скачать, кликнув Download.

Вот такой получается результат. Голос звучит довольно естественно, слышны интонации в соответствии со знаками препинания, но всё-таки понятно, что это не настоящий человек. Каждая тысяча символов текста обойдётся в 1,17 кредита.

Текстовый перевод

Функция Text Translate самая скучная. По сути, то же самое предлагают любые текстовые переводчики. Поддерживается обработка вставленного фрагмента текста или загрузка документов DOCX.

Для запуска переводчика нажмите на Text Translate на боковой панели. После добавления текста нужно указать язык оригинала и выбрать, на какой язык переводить. Сразу по нажатию кнопки Translate результат отобразится справа, откуда его можно скопировать, нажав соответствующую кнопку. Стоит такая услуга 0,68 кредита за каждую тысячу символов.

Озвучка текста из документа

Данный инструмент похож на обычную озвучку Text to Speech. Отличие в том, что текст берётся из документа и может содержать более одного спикера. Также здесь больше настроек.

Для начала кликните в боковом меню Create New → New Story, далее загрузите текст в виде файла TXT или DOCX. Присвойте проекту название, укажите язык и нажмите Create Story.

После обработки озвучку можно скачать, нажав Ready to Download → Download Outputs и выбрав формат (FLAC, WAV или MP3). При желании здесь же можно поправить реплики, а в Speaker Settings настроить голос, возраст, пол и стиль речи спикера.

Результат на выходе получается такого же уровня, как и через Text to Speech. Стоимость генерации составляет 1,76 кредита за тысячу символов текста.

Сколько это стоит

Ожидаемо, сервис Camb AI не бесплатный. При регистрации начисляется 30 кредитов, лимит будет восполняться раз в месяц. Этого хватит, чтобы потестировать платформу, но для какой-то более-менее серьёзной работы, безусловно, будет недостаточно. Поэтому без подписки не обойтись.

Базовый вариант Starter Plan добавляет 36 кредитов и снимает ограничение на длительность дублирования за 15 долларов в месяц (можно доплатить 17,5 доллара за дополнительные 35 кредитов). Есть также тарифы Basic Plan за 50 долларов и Advanced Plan за 150 долларов, они дают 118 и 210 кредитов в месяц соответственно. В них тоже можно докупать дополнительные пакеты.

Российские карты к оплате не принимаются.

Какие впечатления по сравнению с конкурентами

Возможности Camb AI определённо заслуживают внимания. Сервис предлагает много разных функций, и дубляж работает довольно неплохо. Доступных настроек достаточно, есть вариант загрузки видео с YouTube, а не с компьютера.

Ближайший конкурент нейросети — нашумевшая ElevenLabs. Если сравнивать сервисы, то результаты плюс-минус одинаковые. Camb AI сделала дублированный голос менее похожим на оригинал, но более приятно звучащим. ElevenLabs почти идеально клонировала голос Лёши Хромова, но придала его речи чересчур уж сильный акцент. Причём я сделал ещё пару попыток, но результат был таким же. Тут уж судите сами.

Однако у Camb AI довольно странные тарифы, которые добавляют ложку дёгтя в финальный вердикт. Мало того, что изначально кредитов начисляется меньше чем на 5 минут дубляжа, так ещё и платные не слишком-то и увеличивают лимиты. Тот же ElevenLabs при регистрации даёт кредитов на 10 минут озвучки (лимит обновляется ежемесячно), а платные тарифы гораздо гуманнее: за 5 долларов в месяц вы получаете примерно 30 минут дубляжа.

Одним словом, впечатления от Camb AI неоднозначные, но попробовать стоит.