Blackchannel: как Google Photos отличает кошек от собак

Google Photos — первый продукт, который использует систему распознавания изображений, разработанную в компании и названную Inception (в честь одноимённого фильма Кристофера Нолана). Система представляет собой нейронную сеть с 22 слоями, каждый из которых определяет различные элементы изображения. Так, первый слой определяет только общие очертания объекта и его основные цвета, а последующие — более мелкие детали. Подобное количество слоёв позволяет системе различать cхожие изображения, на которых показаны разные предметы и явления.

Кроме того, Inception связана с Google Search, который помогает системе обучаться распознаванию различных изображений. В приложении есть опция, позволяющая пользователю пометить неправильный результат в выдаче изображений. Впрочем, даже если пользователь не воспользуется ею, а просто не выберет неподходящее ему изображение, он всё равно вносит вклад в развитие программы.

Уже сейчас Google Photos может различать, например, породы собак и правильно распознавать золотистого ретривера и жёлтого лабрадора. Однако в большинстве случаев приложение лучше работает с более абстрактными запросами: так, автор текста на Medium не смог найти нужное фото по запросу Legо, однако получил нужный результат по запросу toys.