ИндустрияВосстание машин откладывается: почему тест Тьюринга устарел

Тестирование чат-ботов было организовано Школой системной инженерии при университете Рединга к 60-летию кончины Алана Тьюринга. Эксперты общались одновременно с живым человеком и с программой, находясь в разных комнатах. По окончании теста каждый из судей должен заявить, кто из двух его собеседников — человек, а кто — программа. Для чистоты эксперимента были задействованы пять компьютеров и 30 судей, каждый из которых провёл серию из 10 письменных диалогов длительностью по 5 минут. Хотя обычно в ежегодном конкурсе программ искусственного интеллекта на премию Лёбнера (в котором программы соревнуются в прохождении теста Тьюринга за приз $2000) принимают участие всего 4 чат-бота и 4 человека. В результате эксперимента программа Eugene Goostman сумела убедить 33 % состава жюри в своей «человечности», что произошло первый раз в истории. Роберт Луэллин, один из судей, британский актёр и любитель технологий сказал:

Чат-бот Eugene Goostman был разработан выходцем из России Владимиром Веселовым (сейчас он проживает в США) и украинцем Евгением Демченко, живущим в России. Первая версия появилась ещё в 2001 году. Возраст подростка был выбран неслучайно: в 13 лет ребёнок уже многое знает, но далеко не всё, что усложняет задачу судей. В 2012 году чат-бот уже подобрался довольно близко к успеху: тогда в «человечность» украинского школьника поверили 29 % из числа судей. В ходе последних доработок программистам удалось подготовить виртуального собеседника ко всем возможным вопросам и даже обучить его подбирать примеры ответов в «Твиттере».

Что такое тест Тьюринга,
и в чём его недостатки

Тест Тьюринга был впервые предложен британским математиком Аланом Тьюрингом в статье «Вычислительная техника и интеллект», опубликованной в журнале Mind в 1950 году. В ней учёный задался простым вопросом: «Может ли машина мыслить». В своей самой простой форме тест заключается в следующем: человек взаимодействует с одним компьютером и одним человеком. На основании ответов на вопросы он должен определить, с кем он разговаривает: с человеком или компьютерной программой. Задача компьютерной программы — ввести человека в заблуждение, заставив сделать неверный выбор. Тест подразумевает пятиминутный текстовый диалог, в ходе которого минимум 30 % судей должны поверить, что они имеют дело с человеком, а не машиной. При этом, разумеется, все участники теста не видят друг друга.

Джон Серл, американский философ

Есть много различных версий этого испытания (в некоторых вариациях судья знает, что одним из проверяемых собеседников является компьютер, в других — не знает об этом), но многие учёные и философы критикуют его по сей день. В своё время американский философ Джон Серл бросил тесту вызов своим мысленным экспериментом, известным как «Китайская комната». Он позволил себе предположить, что способность компьютера вести разговор и убедительно отвечать на вопросы — далеко не то же самое, что иметь разум и мыслить, как человек. «Предположим, что меня заперли в комнате и [...] что я не знаю ни одного китайского слова, ни письменно, ни устно», — пишет Серл в 1980 году. Он представил, что получал вопросы, написанные на китайском языке через щель в стене. Он не был в состоянии прочитать эти символы, но имел набор инструкций на английском, которые позволяли ему реагировать на «один набор формальных символов другим набором формальных символов». Таким образом, Серл теоретически смог бы отвечать на вопросы, просто следуя правилам английского и выбирая правильные китайские иероглифы. И его собеседники были бы убеждены, что он может говорить по-китайски.

Большинство критиков теста Тьюринга как способа оценки искусственного интеллекта придерживаются аналогичного мнения. Они утверждают, что компьютеры могут только использовать наборы правил и огромные базы данных, запрограммированных для ответов на вопросы, чтобы лишь казаться разумными.

У Eugene Goostman имеется два фактора, которые помогли ему пройти тест. Во-первых, грамматические и стилистические ошибки, которые допускает машина в подражание письму подростка, а во-вторых, отсутствие знаний о специфических культурных и исторических фактах, которое также может быть списано на возраст школьника.

ELIZA

В 1966 году Джозеф Уайзенбаум разработал программу ELIZA, принцип которой заключался в анализе введённых пользователем комментариев на ключевые слова. Если такие слова были найдены, программа применяла правило, по которому этот комментарий преобразовывался и возвращался пользователю. Если ключевых слов введено не было, ELIZA возвращала пользователю общий ответ-заглушку либо повторяла один из предыдущих комментариев. Программа также имитировала поведение психотерапевта, работающего по клиент-центрированной методике. Таким образом, она «притворялась, что не знает почти ничего о реальном мире». Благодаря этим способам, программа Уайзенбаума могла вводить в заблуждение людей, заставляя их полагать, что разговаривают они с человеком. ELIZA, возможно, может считаться первой программой, которая смогла пройти тест Тьюринга, но результаты не являются достаточно убедительными. Для 60-х это было такой диковинкой, что люди не могли даже предположить, что они говорят с программой.

PARRY

В 1972 году Кеннет Колби доработал «Элизу» таким образом, что программа пыталась моделировать поведение параноидального шизофреника. Его программу PARRY с помощью одной из модификаций теста Тьюринга проверяли на команде опытных психиатров, анализировавших группу из настоящих пациентов и компьютеров. Команда из 33 психиатров изучила стенограмму бесед и лишь в 48 % случаев смогла вынести верное решение. Но этот тест также не может считаться на 100 % достоверным, потому как для вынесения корректного решения судей требуется, чтобы вопросы можно было задавать в интерактивном режиме.

Лауреаты премии Лёбнера

С 1991 года Кембриджский центр исследований поведения в Массачусетсе проводит ежегодный конкурс на получение премии Лёбнера. И хотя серебряная (за лучшего аудио-чат-бота) и золотая (за лучшего аудио- и зрительного чат-бота) медали ещё ни разу не вручались, на конкурсе ежегодно присуждается бронзовая медаль. Её удостаиваются программы, демонстрирующие «наиболее человеческое» поведение в разговоре. Самыми известными призёрами являются чат-бот A.L.I.C.E. (три награды — в 2000, 2001 и 2004 годах), программа Jabberwacky (две награды — в 2005 и 2006 годах), Elbot (награда 2008 года) — он даже не притворялся человеком, но обманул трёх судей.

 Deep Blue

Суперкомпьютер Deep Blue компании IBM, способный оценить 200 миллионов позиций в секунду, 11 мая 1997 года выиграл матч из 6 партий у чемпиона мира по шахматам Гарри Каспарова. После матча гроссмейстер высказал претензии корпорации IBM, обвиняя её в создании нездоровой напряжённости вокруг матча, неравных условиях и нечестной игре.

Watson

Другой суперкомпьютер IBM — Watson — победил в американской телевикторине Jeopardy! (аналог российского проекта «Своя игра»). Машина выиграла у двух бывших чемпионов игры Кена Дженнингса и Бреда Руттера. По итогам Watson получил 1 миллион долларов, в то время как Дженнингс и Раттер получили 300 и 200 тысяч долларов соответственно. Watson состоит из 90 серверов, использующих для работы 360 процессоров. Он «понимает» речь, а чтобы эмулировать процесс мышления, в компьютер были загружены миллионы документов, включая словари, антологии и энциклопедии.

Симулятор «человечности» DI-Guy 

Компания Boston Dynamic, известная своими впечатляющими роботами, разработала программный продукт DI-Guy, который моделирует персональную и групповую деятельность человека. Система отвечает за сценарное и ситуационное взаимодействие и коммуникацию в ходе военных операций, аналитику поведения людей для оценки потенциальной опасности и многое другое.

Бот по продаже медицинских страховок

В декабре 2013 года в СМИ всплыл курьёзный случай, когда в вашингтонский офис журнала Time позвонила девушка, представилась Самантой Уэст и предложила купить медицинскую страховку. С ней лично говорил глава издания Майкл Ширер, который через некоторое время заподозрил что-то странное. На прямой вопрос, робот ли она, девушка со смехом ответила, что она вполне реальный человек. Майкл попросил её назвать овощ, который входит в состав томатного супа. На этот вопрос девушка ответить не смогла: сказала, что не понимает вопроса. Просьба назвать вчерашний день недели тоже остался без ответа — в этот раз Саманта сослалась на плохую связь. Позже репортёры Time перезвонили по оставленному номеру и выяснили, что имеют дело с голосовой программой, общающейся по сценарию. Попробовать пообщаться с роботом можно, позвонив в Вашингтон по номеру (484) 589-5611.

Cleverbot

Чат-бот Cleverbot впечатлил многих во время фестиваля Techniche в Индии, где он фактически прошёл тест Тьюринга. В ходе эксперимента всего было подано 1 334 голоса добровольцев, а результаты транслировались на большом экране. В итоге выяснилось, что людей считали людьми 63 % испытуемых, а бота человеком — 59 %. Все дело в том, что Cleverbot, имеющий 45 млн строк записанных чатов, постоянно тренируется на людях онлайн, пополняя свою базу ответов, и этот индекс удваивается ежегодно.

Что несёт победа робота
над человеком?