Галерея нейросетевого искусства
Однажды разработчик из Яндекса Женя Кашин решил повесить у себя дома картину — такую, которая была бы только у него. Женя работает в лаборатории машинного интеллекта, поэтому подошёл к вопросу нетривиально. Он обучил нейронную сеть на подборке картин, которые ему нравились, и получил другие картины — созданные по их мотивам, но тем не менее единственные в своём роде.
Женя остался доволен. Одну нейросетевую картину он перенёс на холст и повесил дома. Другую — превратил в принт для футболки. Остальные картины Женя выложил в интернет, чтобы то же самое могли сделать и его друзья.
Мы вместе с Женей решили повторить его опыт и открыли галерею нейросетевого искусства. В ней четыре зала: «Город», «Природа», «Люди» и «Настроение». В каждом зале выставлено по тысяче картин, созданных нейронной сетью.
Как создавались картины
Для создания картин мы использовали нейронную сеть, которая повторяет архитектуру сети StyleGAN2. Эту сеть разработали в 2018 году исследователи из компании Nvidia, чтобы создавать фотореалистичные изображения лиц. Она хорошо подходит и для других задач, связанных с генерацией картинок. В 2019 году вышла вторая версия сети и был опубликован её исходный код. Для нашего проекта мы обучили нейросеть на сорока тысячах картин, написанных художниками в XX веке. Это произведения в разных жанрах, от фовизма и кубизма до минимализма и стрит-арта.
Один раз обучившись, нейросеть может создать сколь угодно много материала. Но настоящие музеи не размещают что попало: они тщательно отбирают произведения в экспозицию. Это отдельная — и тоже очень творческая — работа. Чтобы подобрать картины для галереи, мы призвали на помощь вторую нейросеть. Она выступила в роли куратора: отсмотрела материал, созданный первой сетью, и определила, какие картины наиболее точно соответствуют тематике каждого зала.
Как отбирались картины
«Куратором» в нашем проекте стала нейросеть, которая используется для поиска изображений в Яндекс.Картинках. Когда-то давно поиск по картинкам был, по сути, текстовым — он искал соответствия запросу в сопровождающем тексте. С развитием нейросетей стало возможным анализировать и содержание самих изображений. Нейросеть может «взглянуть» на картинку и вынести вердикт: например, на этой, с такой-то точностью, изображены облака, а на этой — лес.
Произведения, отобранные нейросетью-куратором, мы выставили в галерее. Вы можете не только посмотреть выставку, но и забрать понравившееся себе — скачать картину в исходном размере. Правда, есть одно условие. Поскольку количество произведений в галерее ограничено, завладеть можно только одним. Другие посетители по-прежнему будут видеть уменьшенную копию вашей картины в галерее, но скачать её не смогут: «оригинал» находится в вашей частной коллекции.
О размере изображений
«Оригиналы» картин имеют размер 1024 на 1024 пикселя. С одной стороны, в наше время гигантских экранов это совсем немного. С другой стороны, важно помнить, что все картины написаны нейронной сетью, которая пока не умеет творить в сверхвысоких разрешениях. Так, первая нейросеть для генерации изображений, созданная в 2014 году, выдавала картинки размером всего 64 на 64 пикселя. Картинку размером 1024 на 1024 пикселя вполне можно напечатать на холсте либо нанести на футболку или кружку. Результат будет выглядеть достойно — мы проверяли.
Галерея находится по адресу yandex.ru/lab/ganart. Если вы не успели забрать понравившуюся картину, не расстраивайтесь. Во-первых, превью картин остаются на месте — их можно рассматривать на сайте. Во-вторых, сейчас мы работаем над ещё одним схожим проектом и обязательно расскажем о нём чуть позже.