Нейронные сети Google научились «рисовать» картины

Специалисты Google Александр Мордвинцев, Кристофер Олах и Майк Тайка рассказали в блоге компании о том, как работают нейронные сети, используемыe Google, и как их можно использовать для создания новых изображений.

Нейронную сеть учат распознавать изображения, показывая ей изображения различных предметов. Сеть находит общие признаки в изображениях и учится находить их в других изображениях. Чтобы проверить, какие именно признаки выделяет сеть, можно провести «обратный» эксперимент: загрузить картинку, состоящую из «шума», и запросить уже обученную сеть найти в ней признаки того или иного предмета, а затем дополнительно выделить их. Так, в одном из случаев по запросу «гантели» стало очевидно, что нейронная сеть практически всегда выделяет не просто гантели, но и руки, которые их держат, — скорее всего, на всех «увиденных» изображениях гантели держали в руках.

Этот процесс можно провести и с обычными фотографиями, на которых изображены пейзажи, предметы и животные. В этом случае программе не дают запросов на поиск какого-либо предмета, а просто просят найти знакомые и выделить их. При этом при работе с многослойной нейронной сетью можно работать с различными слоями и получать разные эффекты: так, более низкие слои просто выделяют цвета, края и линии, создавая цветные мазки или орнаменты поверх имеющегося изображения. В случае, если речь идёт о более высоком и сложном слое, то программа находит изображения зданий, деревьев и различных животных.

Наконец, для создания самых сложных картин специалисты сначала загружали в нейронную сеть картинку, затем — сгенерированное ей изображение и повторяли этот процесс несколько раз, каждый раз увеличивая масштаб. При этом интересные изображения можно получить даже в том случае, если на самой первой картинке был случайный шум.