Deep Dream: как добавить к фото и видео мечты роботов

Технология обработки изображений при помощи нейронных сетей Deep Dream на короткое время взорвала интернет и пропала из виду. Но это не значит, что она перестала существовать и ею перестали пользоваться.

Так, группа Years & Years представила первый музыкальный клип (первый для известных команд и мажорных лейблов), полностью обработанный машинным разумом — нейронной сетью от Google. Прежде чем видео было смонтировано для песни Desire, потребовалось четыре дня видеосъёмок в нескольких пустынях Соединённых Штатов и несколько сотен часов работы компьютера.

Согласитесь, эффект потрясающий. Хотите создать нечто подобное из собственных записей? Для этого потребуется материал (фото или видео), компьютер, программа для видеомонтажа, доступ к интернету и некоторое время.

Если вкратце, работает рисование при помощи нейронных сетей так:

1. Строится нейронная сеть.
2. Производится обучение при помощи определённых снимков-эталонов с необходимым содержанием.
3. Снимок обрабатывается нейронной сетью. Сеть ищет на фото знакомые сочетания пикселей и преобразует их в соответствии с усвоенным алгоритмом. Если сеть была обучена видеть глаза, то на картинке появятся глаза или их подобие.

Самым простым путём является использование готовых и обученных нейронных сетей. На данный момент они представлены в виде нескольких онлайн-сервисов. Один из них — Deep Dreamer, работу с которым мы уже описывали. Сегодня это преимущественно онлайн-сервис, хотя приложение для Mac всё ещё существует. Deep Dreamer подойдёт для обработки отдельных кадров и снимков, но стоит быть осторожным: нейронные сети этого сервиса уже обучены. А значит, они будут искать на снимках знакомый для себя материал и отрисовывать именно его.

Аналогично работает сервис с названием Deep Dream Generator. Как и Deep Dreamer, он предпочитает рисовать глаза и собак.

Есть и более хардкорный способ использования Deep Dream в домашних условиях для рисования чего угодно. Строить собственную нейронную сеть не потребуется, и слава богу: для этого необходимы сотни часов. Но попотеть при настройке готовой сети придётся.

Использовать стоит готовый проект под названием GoogleNet. Это не сложно, знание языков программирования не потребуется. А вот прочтение этой инструкции обязательно.

Затем придётся найти 200–1 000 различных рисунков на заданную тему и сохранить их с разрешением 256 × 256 с режимом True Color JPG (не чёрно-белое, даже если оригиналы именно таковы). Рисунки должны содержать именно ту информацию, которую хочется вывести на обрабатываемые картинки.

Описание процесса дальнейшей настройки, отладки и обучения сети можно найти в этой русскоязычной статье. Всё это может показаться несколько сложным, но на самом деле единственное препятствие — длительная высокая загрузка процессора.