Эмодзи приспособили для поиска видео на YouTube

Исследователи из Университета Амстердама и Qualcomm Research создали нейронную сеть, которая умеет искать видео на YouTube по запросам с эмодзи. Об этом пишет MIT Technology Review.

На сайте Emoji2Video, где работает тестовая версия системы, можно ввести в поисковую строку один или несколько эмодзи, после чего сеть подберёт видео, в которых, по её мнению, есть похожие на идеограмму объекты. Пока искать можно только с помощью 385 эмодзи и по 45 тысячам видео (некоторые уже удалены).

Авторы работы удалили из полного набора в 1281 идеограмму повторяющиеся знаки, символы и цифры, но утверждают, что список для поиска можно расширить.

Нейронная сеть, построенная по принципу GoogLeNet (создана в Google на основе LeNet весной 2014 года), разбивает видео на отрывки и анализирует то, что на них изображено. Объекты, которые удалось распознать, она соотносит со списком доступных эмодзи и их концепциями. После анализа сеть оставит только те эмодзи, которые чаще всего повторялись, и будет использовать их для поиска.

Сейчас система работает в тестовом режиме и может найти не все эмодзи из запроса. Например, она может сделать выдачу для эмодзи с котом, но если добавить к нему эмодзи с кабаном, то ничего не произойдёт, поскольку такого видео нет в общей базе.

Авторы проекта считают, что визуальный поиск может быть полезен для поиска видео или изображений, для людей, которые не знают какого-то языка или говорят на разных, а также для малых экраном смарт-часов. Ранее поиск по эмодзи добавили в поисковую систему Microsoft Bing.