Программа научилась определять автора, жанр и стиль картин

Учёные Ратгерского университета обучили нейронную сеть определению жанра и стиля картины. Препринт программы опубликован на сайте arxiv.org, пишет N+1. Авторы взяли за основу подборку живописи Wikiart, которая включает в себя 80 000 картин авторства более тысячи живописцев, а также информацию об их стиле и жанре.

Чтобы обучить нейронную сеть, авторы создали сразу несколько алгоритмов, каждый из которых состоит из нескольких этапов. Сначала выделяется вектор «визуальных особенностей» каждой картины. Это те её характеристики, которые можно записать численно. Часть подобных характеристик может быть замечена человеком, например, гамма или форма мазка, однако часто они непереводимы на естественный язык. Для выделения характеристик вся информация о картине разбивается на кластеры, из которых потом выбираются самые информативные параметры.

После этого визуальные особенности каждой картины записываются в виде вектора, размерность которого совпадает с числом особенностей. Кроме того, учёные ввели специальную метрику — способ вычисления «схожести» нескольких векторов между собой. С их помощью программа определяет имя вероятного автора картины, её стиль и жанр.

Как отмечают авторы программы, алгоритм часто путал художников со схожим стилем: так, он не делал разницы между Клодом Моне и Камилем Писсарро (они работали в одном стиле, были друзьями и влияли друг на друга). Также она не всегда успешно отличала различные периоды развития живописи Возрождения, а импрессионизм часто путала с постимпрессионизмом.

При этом программа оказалась точнее своих предшественниц: она с точностью 60% определяла автора картины и жанр. Точность определения стиля оказалась гораздо меньше — чуть больше 30%, однако для ряда стилей в подборке было слишком мало примеров.