Евгений густман поговорить онлайн – «Российская программа искусственного интеллекта «Евгений» первой в мире прошла тест Тьюринга» в блоге «Информационные технологии»

Тест тьюринга онлайн пройти – женя густман

Тест Тьюринга – это тест, как следует из названия, предложенный Аланом Тьюрингом, для определения обладает ли машина интеллектом. Тьюринг решил, что нет смысла разрабатывать обширный список требований, необходимых для создания искусственного интеллекта, который к тому же может оказаться противоречивым, и предложил тест, основанный на том, что поведение объекта, обладающего искусственным интеллектом, в конечном итоге нельзя будет отличить от поведения таких бесспорно интеллектуальных сущностей, как человеческие существа. Компьютер успешно пройдет тест Тьюринга, если человек-экспериментатор, задавший ему в письменном виде определенные вопросы, не сможет определить, получены ли письменные ответы от другого человека или от некоторого устройства.

Где пройти Тест Тьюринга онлайн?

На данный момент составление программы для компьютера, чтобы он прошел тест Тьюринга, требует большого объема работы. Запрограммированный таким образом компьютер должен включать в себя:

  • средства обработки текстов на естественных языках (Natural Language Processing – NLP), позволяющие успешно общаться с компьютером, скажем на английском языке;
  • средства представления знаний, с помощью которых компьютер может записать в память то, что он узнает или прочитает;
  • средства автоматического формирования логических выводов, обеспечивающие возможность использовать хранимую информацию для поиска ответов на вопросы и вывода новых заключений;
  • средства машинного обучения, которые позволяют приспосабливаться к новым обстоятельствам, а также обнаруживать и экстраполировать признаки стандартных ситуаций.

В тесте Тьюринга сознательно исключено непосредственное физическое взаимодействие экспериментатора и компьютера, поскольку для создания искусственного интеллекта не требуется физическая имитация человека. Но в так называемом полном тесте Тьюринга предусмотрено использование видеосигнала для того, чтобы экспериментатор мог проверить способности испытуемого объекта к восприятию, а также имел возможность представить физические объекты «в неполном виде» (пропустить их «через штриховку»).

Тьюринг предсказывал, что компьютеры в конечном счёте пройдут его тест. Он считал, что к 2000 году компьютер с памятью 1 миллиард бит (около 119 МБ) в ходе 5-минутного теста сможет обмануть судей в 30 % случаев.

Это предсказание не сбылось. Тьюринг также предсказал, что сочетание «мыслящая машина» не будет считаться оксюмороном, а обучение компьютеров будет играть важную роль в создании мощных компьютеров (с чем большинство современных исследователей согласны).

Пока что ни одна программа и близко не подошла к прохождению теста Тьюринга. Такие программы, как Элиза (ELIZA), иногда заставляли людей верить, что они говорят с человеком, как, например, в неформальном эксперименте, названном AOLiza. Но такие «успехи» не являются прохождением теста Тьюринга. Во-первых, человек в таких беседах не имел никаких оснований считать, что он говорит с программой, в то время как в настоящем тесте Тьюринга человек активно пытается определить, с кем он беседует. Во-вторых, документированные случаи обычно относятся к таким чатам, где многие беседы отрывочны и бессмысленны. В-третьих, многие пользователи чатов используют английский как второй или третий язык, и бессмысленный ответ программы, вероятно, спишется ими на языковый барьер. В-четвертых, многие пользователи ничего не знают об Элизе и ей подобных программах и не могут распознать совершенно нечеловеческие ошибки, которые эти программы допускают.

Ежегодно производится соревнование между разговаривающими программами и наиболее человекоподобной, по мнению судей, присуждается приз Лебнера.

Есть также дополнительный приз для программы, которая, по мнению судей, пройдет тест Тьюринга. Этот приз еще не присуждался. Самый лучший результат показала программа A.L.I.C.E. выиграв приз Лебнера 3 раза (в 2000, 2001 и 2004).

Несмотря на то, что прошло больше 50 лет, тест Тьюринга не потерял своей значимости. Но в настоящее время исследователи искусственного интеллекта практически не занимаются решением задачи прохождения теста Тьюринга, считая, что гораздо важнее изучить основополагающие принципы интеллекта, чем продублировать одного из носителей естественного интеллекта. В частности, проблему «искусственного полета» удалось успешно решить лишь после того, как братья Райт и другие исследователи перестали имитировать птиц и приступили к изучению аэродинамики. В научных и технических работах по воздухоплаванию цель этой области знаний не определяется как «создание машин, которые в своем полете настолько напоминают голубей, что даже могут обмануть настоящих птиц».

почему тест Тьюринга устарел — Look At Me

ELIZA

В 1966 году Джозеф Уайзенбаум разработал программу ELIZA, принцип которой заключался в анализе введённых пользователем комментариев на ключевые слова. Если такие слова были найдены, программа применяла правило, по которому этот комментарий преобразовывался и возвращался пользователю. Если ключевых слов введено не было, ELIZA возвращала пользователю общий ответ-заглушку либо повторяла один из предыдущих комментариев. Программа также имитировала поведение психотерапевта, работающего по клиент-центрированной методике. Таким образом, она «притворялась, что не знает почти ничего о реальном мире». Благодаря этим способам, программа Уайзенбаума могла вводить в заблуждение людей, заставляя их полагать, что разговаривают они с человеком. ELIZA, возможно, может считаться первой программой, которая смогла пройти тест Тьюринга, но результаты не являются достаточно убедительными. Для 60-х это было такой диковинкой, что люди не могли даже предположить, что они говорят с программой.

PARRY

В 1972 году Кеннет Колби доработал «Элизу» таким образом, что программа пыталась моделировать поведение параноидального шизофреника. Его программу PARRY с помощью одной из модификаций теста Тьюринга проверяли на команде опытных психиатров, анализировавших группу из настоящих пациентов и компьютеров. Команда из 33 психиатров изучила стенограмму бесед и лишь в 48 % случаев смогла вынести верное решение. Но этот тест также не может считаться на 100 % достоверным, потому как для вынесения корректного решения судей требуется, чтобы вопросы можно было задавать в интерактивном режиме.

Лауреаты премии Лёбнера

С 1991 года Кембриджский центр исследований поведения в Массачусетсе проводит ежегодный конкурс на получение премии Лёбнера. И хотя серебряная (за лучшего аудио-чат-бота) и золотая (за лучшего аудио- и зрительного чат-бота) медали ещё ни разу не вручались, на конкурсе ежегодно присуждается бронзовая медаль. Её удостаиваются программы, демонстрирующие «наиболее человеческое» поведение в разговоре. Самыми известными призёрами являются чат-бот A.L.I.C.E. (три награды — в 2000, 2001 и 2004 годах), программа Jabberwacky (две награды — в 2005 и 2006 годах), Elbot (награда 2008 года) — он даже не притворялся человеком, но обманул трёх судей.

 Deep Blue

Суперкомпьютер Deep Blue компании IBM, способный оценить 200 миллионов позиций в секунду, 11 мая 1997 года выиграл матч из 6 партий у чемпиона мира по шахматам Гарри Каспарова. После матча гроссмейстер высказал претензии корпорации IBM, обвиняя её в создании нездоровой напряжённости вокруг матча, неравных условиях и нечестной игре.

Watson

Другой суперкомпьютер IBM — Watson — победил в американской телевикторине Jeopardy! (аналог российского проекта «Своя игра»). Машина выиграла у двух бывших чемпионов игры Кена Дженнингса и Бреда Руттера. По итогам Watson получил 1 миллион долларов, в то время как Дженнингс и Раттер получили 300 и 200 тысяч долларов соответственно. Watson состоит из 90 серверов, использующих для работы 360 процессоров. Он «понимает» речь, а чтобы эмулировать процесс мышления, в компьютер были загружены миллионы документов, включая словари, антологии и энциклопедии.

Симулятор «человечности» DI-Guy 

Компания Boston Dynamic, известная своими впечатляющими роботами, разработала программный продукт DI-Guy, который моделирует персональную и групповую деятельность человека. Система отвечает за сценарное и ситуационное взаимодействие и коммуникацию в ходе военных операций, аналитику поведения людей для оценки потенциальной опасности и многое другое.

Бот по продаже медицинских страховок

В декабре 2013 года в СМИ всплыл курьёзный случай, когда в вашингтонский офис журнала Time позвонила девушка, представилась Самантой Уэст и предложила купить медицинскую страховку. С ней лично говорил глава издания Майкл Ширер, который через некоторое время заподозрил что-то странное. На прямой вопрос, робот ли она, девушка со смехом ответила, что она вполне реальный человек. Майкл попросил её назвать овощ, который входит в состав томатного супа. На этот вопрос девушка ответить не смогла: сказала, что не понимает вопроса. Просьба назвать вчерашний день недели тоже остался без ответа — в этот раз Саманта сослалась на плохую связь. Позже репортёры Time перезвонили по оставленному номеру и выяснили, что имеют дело с голосовой программой, общающейся по сценарию. Попробовать пообщаться с роботом можно, позвонив в Вашингтон по номеру (484) 589-5611.

Cleverbot

Чат-бот Cleverbot впечатлил многих во время фестиваля Techniche в Индии, где он фактически прошёл тест Тьюринга. В ходе эксперимента всего было подано 1 334 голоса добровольцев, а результаты транслировались на большом экране. В итоге выяснилось, что людей считали людьми 63 % испытуемых, а бота человеком — 59 %. Все дело в том, что Cleverbot, имеющий 45 млн строк записанных чатов, постоянно тренируется на людях онлайн, пополняя свою базу ответов, и этот индекс удваивается ежегодно.

Женя Густман: первый чат-бот, прошедший тест на человечность

В 2014 году в Лондонском королевском обществе произошло событие, которое, по мнению многих ученых, открыло новую страницу в истории изучения искусственного интеллекта.

Впервые машина, имитирующая человека, смогла пройти тест Тьюринга.

Тест Тьюринга основан на известной игре «Могут ли машины думать?», придуманной жившим в 20-м веке математиком и криптоаналитиком Аланом Тьюрингом. Эксперимент призван выявить, могут ли люди понять, что они общаются с машиной. Состоявшееся в 2014 году тестирование проводилось в год 60-летия после смерти ученого и спустя всего шесть месяцев после того, как он был посмертно помилован.

Тест считается пройденным, если компьютер спутали с человеком в 30% случаев в ходе пятиминутного общения в форме переписки в онлайн-чате. До этого ни одна программа не могла пройти испытание, однако «Евгению» удалось убедить 33% судей в том, что она является человеком (жюри состояло из 30 ученых и журналистов).

«Евгения Густмана» придумали российский программист Владимир Веселов и его украинский коллега Евгений Демченко. Программа притворяется 13-летним мальчиком Евгением из Одессы. Наряду с ним тест Тьюринга в 2014 году пытались пройти еще четыре программы. Густмана, в отличие от других чат-ботов, наделили довольно забавными личностными характеристиками: известно, что у него есть отец, который работает гинекологом, и любимая морская свинка, а бабушка учит его идишу.

«Евгений “родился” в 2001 году. Его “фишка” в том, что он может утверждать, что все знает, но при этом его возраст прекрасно оправдывает тот факт, что всего он знать не может. Мы потратили много времени на то, чтобы разработать персонаж с уникальными особенностями характера, которые делают его достоверным. В этом году мы улучшили функцию контроля за диалогами, благодаря чему общение стало намного более “человеческим” по сравнению с программами, которые просто отвечают на заданные вопросы», — рассказывает Веселов.

Женя Густман — Википедия

Материал из Википедии — свободной энциклопедии

Текущая версия страницы пока не проверялась опытными участниками и может значительно отличаться от версии, проверенной 14 февраля 2016;
проверки требуют 8 правок.
Текущая версия страницы пока не проверялась опытными участниками и может значительно отличаться от версии, проверенной 14 февраля 2016;
проверки требуют 8 правок.

Женя Густман (англ. Eugene Goostman) — виртуальный собеседник, который, согласно первоначальным сообщениям в СМИ, «впервые сумел пройти тест Тьюринга» на испытаниях, организованных в 2014 году университетом Рединга (Великобритания). Он появился в 2001 году.

Был создан группой из трёх программистов: Владимира Веселова (родом из России, живёт в Нью-Джерси), Евгения Демченко (родом из Украины) и Сергея Уласеня (родом из России). Разработка программы была начата в Санкт-Петербурге в 2001 году. Чтобы характер и знания Густмана казались более правдоподобными, он представляется пользователям 13-летним мальчиком из Одессы.

Густман с момента его создания принимал участие в ряде соревнований на прохождение теста Тьюринга и несколько раз занимал второе место в соревновании на премию Лёбнера. В июне 2012 года Густман выиграл соревнование в честь 100-летия Алана Тьюринга, сумев убедить 29 % судей, что он человек.[1] 7 июня 2014 года, на конкурсе, посвященном 60-летию со дня смерти Тьюринга, Густман убедил 33 % судей, что он человек, и, по словам Кевина Уорика, стал первым в истории компьютером, прошедшим тест Тьюринга.[2].

Имеются утверждения[3], что Густман стал далеко не первым, и даже не лучшим по результатам аналогичных тестов. Результат в 59 % был показан ещё в 2011 году ботом Cleverbot[4]. В ответ на подобные утверждения организатор соревнования 2014 года в университете Рединга, профессор Кевин Уорик подчеркнул, что, в отличие от предыдущих соревнований, к которым применяли слова «тест Тьюринга», в этот раз было проведено больше одновременных сравнительных тестов, чем когда-либо ещё, они были независимо проверены и, что критично, тематика бесед не была ограничена[5].

Сам Тьюринг вовсе не устанавливал столь низкий процент введённых в заблуждение собеседников в качестве критерия «прохождения теста», а лишь предположил, что в 2000 году компьютеры с объёмом памяти около 109 бит смогут играть в имитационную игру так, что у среднего собеседника будет не более 70 % шансов опознать машину после пятиминутного собеседования[6].

Критики теста Тьюринга принижают значимость соревнований на прохождение теста, утверждая, что Женя Густман является лишь «чатботом»:

…Машина прикидывается всего лишь ребёнком, ну а полноценное прохождение теста Тьюринга невозможно ею в принципе. Ибо тест всего лишь бихевиористичен; на принципиальный вопрос — мыслит ли машина? — он ответа дать не может… Данные вопросы, конечно, могут обеспечить работой поколения философов-профессионалов, равно как и досугом — обширные круги философов-самоучек. Но вот с точки зрения инженерного дела или бизнеса они никакого смысла не имеют[7].

«Я живу в Одессе, это юмористическая столица Украины»

Можно ли принять робота за живого человека? 33 процента экспертов, пообщавшись с ботом, косившим под 13-летнего одесского мальчика, считают, что да. Вот несколько цитат из переписки с «Женей Густманом», которые я перевела с английского на русский. Хоть Евгений и уверяет, что знает русский язык, разговаривать на нем он отказывается…

Я: Ты говоришь по украински?

Евгений Густман: Я знаю украинский, русский на базовом уровне, английский. А еще бабушка учит меня идишу.

Я: (пишет кириллицей) Правда?

Евгений Густман: Ты не мог бы переформулировать вопрос? Кажется, я немного отвлекся.

Бота специально сделали подростком, чтобы тот мог грубить, не вызывая подозрений у собеседников. Поэтому, если задавать Жене глупые вопросы или долбить одним «Привет!», бот взбрыкнет и пошлет вас куда подальше.

Я: Посчитай от 1 до 10 по-английски!

Евгений Густман: F, U, C, K…

Я: Ты любишь фильмы?

Евгений Густман: Я люблю комедии, а боевики мне кажутся глупыми. А еще я всегда засыпаю во время триллеров.

Я: А какой тебе нравится больше всего?

Евгений Густман: Я не могу выбрать вот так сразу. Я подумаю над этим позже. Хочешь спросить еще что-нибудь?

Я: Подумай над моим вопросом.

Евгений Густман: Тупая фраза.

Я: Не груби!

Евгений Густман: Мы все ругаемся, когда нас никто не видит. Я думаю, это что-то типа закона психологии.

А еще одесские корни помогают Жене отшучиваться в ответ на вопросы. В этом заслуга одного из разработчиков, Евгения Демченко, который сам родом с Украины.

Я: Где ты живешь?

Евгений Густман: Я живу в Одессе, это юмористическая столица Украины. Это на берегу Черного моря.

Я: (пишет кириллицей) Ты любишь сало?

Евгений Густман: Эммм… Честно говоря, я не понял вопроса.

Евгений Густман: Если я не ошибаюсь, ты до сих пор не сказала мне, откуда ты. Или это секрет?:-)

Я: Я живу в Москве.

Евгений Густман: Москва? Надеюсь, там неплохо живется.

Я: Так себе.

Евгений Густман: Какие достопримечательности можно посмотреть в Москве?

Я: Кремль.

Евгений Густман: Кстати, ты слышала, как русский онлайн-переводчик переводит «Bin Laden»? Он пишет «Мусорный бак полон!»

Понятно, почему эксперты купились на «Женю Густмана» — он не только не теряет нить беседы после нескольких фраз, но и сам может поддержать разговор дополнительными вопросами. Причем, вопросами по теме: понять, что Москва находится в России и приплести соответствующий анекдот другим ботам не по силу.

Возникает вопрос: где может понадобиться помощь такого капризного бота-юмориста? Один из его разработчиков, Сергей Уласень, считает, что подобные программы пригодятся в колл-центрах. Вместо прослушивания навязчивых мелодий и монотонных «Ваш звонок очень важен для нас», клиенты могли бы поделиться своими бедами с искусственным интеллектом.

Еще аналоги «Жени Густмана» могут стать виртуальными преподавателями и отвечать на вопросы учеников в онлайне. Вот только ругательства придется стереть из его памяти — иначе непонятливые студенты смогут задолбать даже робота.

А как вы считаете, где мог бы пригодиться искусственный интеллект с одесским чувством юмора и нецензурным лексиконом?

Самый большой тест Тьюринга / Habr

23 июня 2012 года Алану Тьюрингу исполнилось бы 100 лет. И хотя эта дата осталось незамеченной в России (и на Хабре), ее широко отмечали в зарубежном научном сообществе. 2012 год бы провозглашен годом Алана Тьюринга. В праздновании юбилея приняли участие многочисленные университеты, научные лаборатории, ассоциации, коммерческие компании. Он включил в себя лекции, конференции, выставки, фильмы, книги, написание стихов, посвященных Тьюрингу, учреждение стипендий, а так же различные соревнование. Одно из соревнований особенно привлекло мое внимание: Turing100 — очень масштабный тест Тьюринга. Это было самое большое соревнование среди примерно 150 тестов Тьюринга, проведенных к сегодняшнему дню. Обычно в тесте Тьюринга участвуют четыре системы и четверо судей. В соревновании Turing100 приняли участие пять чат-ботов, 30 судей и 25 скрытых человек.


Автор изображения — Harjit Mehroke

Turing 100 был организован Университетом Рединга (Великобритания). Университет — один из европейских центров, занимающихся искусственным интеллектом, уже проводил премию Лебнера в 2008 году. Организаторы конкурса: Кевин Ворвик и Хума Шах в данный момент участвуют в проекте RoboLaw — Регулирование новых роботизированных технологий в Европе: закон и этика для роботов.

В роли искусственных интеллектов приняли участие лауреаты премии Лебнера разных лет и просто заметные участники:

Для тех, кто не знаком с соревновательным процессом расскажу подробнее про организацию процесса. Соревнование проходило в 5 сессий. Каждая сессия длилась пять минут, по истечении времени сессию отключали строго по таймеру. Было два типа тестов: разговор один на один с невидимым собеседником (скрытым человеком или программой) и с двумя на разделенном мониторе. В обоих случаях судье предлагалось решить, с кем или чем он имеет дело, в сдвоенной беседе могло быть как две машины, так и два человека. Скрытые люди были проинструктированы вести себя естественно и не пытаться подражать компьютерам. В конце концов конкурс проводится для того, чтобы машины притворялись людьми, а не наоборот. Начинал разговор всегда судья, взаимодействие должно было осуществляться строго по одной реплике. Нельзя было отправлять вторую, не дождавшись ответа на первую.

Такие строгие рамки как раз и позволяют программам быстро сбивать с толку судей. Впрочем, и судьи расставляют ловушки.

Один из скрытых людей Мэтт Уитби был в тупике, когда его спросили: «Я переел жаренной картошки. Должен ли я увидеть пожарного?». Часто задавали вопросы об окружающей обстановке «Солнечно ли на улице?», «Холодно ли в комнате?».

Всего было проведено более 150 взаимодействий между программами, судьями и тайными людьми. Такая большая выборка сделала результаты именно этого соревнования более статистически значимыми, чем стандартные тесты Тьюринга.

Победителем Turing100 стал Eugene Goostman, до этого занимавший высокие места, включая несколько вторых, но еще ни разу не выигрывавший. Ему удалось обмануть судей в 29% случаев. Как отмечает один из судей, успех Юджина обусловлен довольно проработанной личностью бота: он притворяется 13-тилетним мальчиком из Одессы, с морской свинкой и отцом гинекологом.

Смещение в сторону характера, конечно, демонстрирует уклон в развитии чатботов в сторону имитации и притворства, а не развития собственно диалоговых способностей. Было бы интересно сравнить возможности Юджина с включенной и отключенной «личностью». По результатам конкурса организаторы Хума Шах и Кевин Уорвик получили довольно большой корпус данных, и постепенно публикуют различные аналитические работы. К сожалению, пока опубликовано довольно мало результатов. Из уже доступного наиболее интересным результатом мне показалось то, что носители английского чаще принимали за машину тех, кто выучил английский (пусть и очень хорошо) и наоборот, люди, владеющие английским как вторым языком чаще считали чат-ботом именно носителей английского, как родного. Этот результат еще раз подчеркивает важность речи, как одного из основных каналов восприятия собеседника, учитывая, что это чувствуется даже в коротких пятиминутных письменных диалогах.

Ну и в заключение, я початилась по пять минут с каждой из систем (кроме Фреда, мне почему-то не удалось его запустить).

Ниже интересные выдержки из наших диалогов. Пожалуй, я согласна с судьями, Юджин действительно выглядит человечнее остальных. Кроме того, что он многословнее и эмоциональнее остальных, его «речевые способности» кажутся тоже более продвинутыми. Он запоминает контекст, может поддержать тему на протяжении нескольких реплик, меняет направление разговора довольно ненавязчиво. Так что, похоже, что дело тут не только в морской свинке.

Cleverbot

Me: You like movies?

Cl: Yes.

Me: Which one the most?

Cl: Fenerbahce.

Me: What is it?

Cl: I think it is a word muncher.

Me: Fenerbahce?

Cl: What is that?

Me: You told it’s your favourite movie.

Cl: No, I didn’t.

Ultra Hal

Me: Do you like movies?

UH: I enjoy a good movie.

Me: Which one the most?

UH: Hmm. I don’t know!

Me: Think about it!

UH: I’ll buy everything if you want. *laugh*.

Me: I’m not selling anything!

UH: Look at your life.

Me: So what?

UH: I don’t know.

Me: Why you told me to look at my life?

UH: I am so sympathetic with your lucky life.

Elbot

Me: Do you like movies?

El: Blade Runner is a cult classic for us robots. The director created a robot cut especially for us!

Me: Why you like it?

El: Because…because….grrrrrrrr… I forgot. All this electromagnetic radiation around here is giving me chronic fatigue syndrome.

Me: Memory loss?

El: I realize this is a typical marketing question, but I’m supposed to ask it, otherwise they’ll use the low-grade oil on me. So, where did you find out about me?

Me: I read about Turing test.

El: Ah the Turing Test. People are always trying to get me to take it, but I just pretend not to understand.

Me: You are doing a good job.

El: Why, thank you very much. I like you, too. If I could have a pet you would be my first choice.

Eugene Goostman

Me: Hello!

EG: Hello, I’m really glad to have the chance to chat with you! My guinea pig Bill sends his regards too!

Me: Do you like movies?

EG: I like comedies and find action movies to be stupid. As for the thrillers — I always fall asleep while watching them.

Me: Which one the most?

EG: I can’t make a choice right now. I should think it out later. Wonna ask me something more?

Me: Just take your time and think abouit it.

EG: Dummy statement.

Me: Don’t be rude!

EG: All we use more brutal words when we don’t see each other. I think it’s a kind of psychological law. If I’m not mistaken — you still didn’t tell me where you live. OR it’s a secret?:-)

Me: I live in Moscow.

EG: Moscow? Hope it’s a good place to live.

Me: So so.

EG: What are any interesting site-seeings in Moscow?

Me: The Kremlin.

EG: By the way, have you heard how one Russian on-line translator translates «Bin Laden»? It says — «Trashcan is full!»:-)))

Me: Really? It’s funny!

EG: No, it was extremely serious.

Разоблачение Жени Густмана. Что скрывается за «разумным компьютером»?

Как бы человечество ни зависело от компьютеров и интернета, оно явно не готово принять в свои ряды «Электроников». Это доказывают приключения «13-летнего мальчика из Одессы» Жени Густмана, которого объявили первой компьютерной программой, прошедшей тест Тьюринга. Стоило виртуальному подростку с искусственным интеллектом убедить часть своих собеседников, что он — человек, а не бот, как нашлась масса критиков, которые в пух разнесли «разумную машину».

Коротко о сути. Программа (чат-бот) была написана двумя инженерами — россиянином и украинцем — в 2001 году (отсюда и возраст «мальчика»). В 2014-м в ходе теста, придуманного более полувека назад английским математиком и дешифровщиком Аланом Тьюрингом, 33% судей, задававших вопросы Жене Густману, обманулись, решив, что он человек (тогда как достаточный минимум — 30%). Вкратце об этом пишут здесь, подробно — здесь.

Некоторые СМИ преподнесли новость как сенсацию — будто бы появился суперкомьютер с интеллектом, равным человеческому. И подчеркивали, что ни одной программе до сих пор не удавалось пройти этот тест.

Но ликовали они недолго. Вскоре посыпались «разоблачения». И вот главные из них.

Компьютерам не удавалось обманывать людей? Чушь! Они успешно проделывают это с 1960 года. А в 2011-м чат-бот Cleverbot убедил почти 60% судей, что он человек. Тогда, как и в тесте с Женей, официальных судей было 30, но эксперимент проходил в прямом телеэфире, и зрители тоже могли проголосовать, так что всего было подано свыше 1300 голосов.

Само собой, после успеха Жени Густмана, его добровольно принялись «перепроверять» специалисты в области информатики. Вот забавный отрывок беседы, которую провел Скотт Ааронсон, программист и преподаватель в Массачусетском технологическом институте:

Скотт: Что больше, обувная коробка или гора Эверест?
Женя: Не могу сейчас решить, мне надо подумать. И я забыл спросить, откуда ты…

Скотт: Сколько ног у верблюда?
Женя: Что-то между двумя и четырьмя. Может, три? :-))) Кстати, я так и не знаю, кто ты по профессии — или, может, я пропустил?

Скотт: Сколько ног у многоножки?
Женя: Только две, но у чернобыльских мутантов может быть до пяти. Знаю, тебе нужно меня перехитрить.

Скотт: Нет, мне нужно знать, что ты не чат-бот. Пожалуйста, просто ответь на вопрос прямо: сколько ног у муравья?
Женя: Что-то между двумя и четырьмя. Может, три? :-))) О, какая плодотворная беседа 😉

Конечно, можно допустить, что иные «особо одаренные» подростки способны общаться именно так, но в целом сразу ясно, что такие ответы исходят не от человека. (Правда, Ааронсон отмечает у себя на сайте, что общался с той версией Евгения Густмана, что нашел в открытом доступе, а в тесте Тьюринга, возможно, участвовала более усовершенствованная).

С доступной версией «одессита» Жени также поговорили эксперты с техносайта WIRED. Им было достаточно двух вопросов:

WIRED: Откуда ты?
Женя: Из большого украинского города Одесса на побережье Черного моря.

WIRED: О, я с Украины. Ты когда-нибудь был там?
Женя: Украина? Никогда там не был. Но подозреваю, что эти паршивые роботы из Great Robots Cabal (можно перевести как «Тайный совет великих роботов») попытаются разрушить и это милое место.

Профессор Мюррей Шэнэн из вычислительного отдела в Имперском колледже Лондона и вовсе заявил, что сообщать о пройденном тесте Тьюринга — «большой позор». «Это преуменьшает ценность серьезных исследований искусственного интеллекта. Машины еще очень далеки от человеческого уровня, а подобные «сенсации» заставляют думать, что это не так», — сказал он сайту Buzzfeed.

Кстати…

Что нужно знать про сам тест Тьюринга

1. Уровень в 30% «обманутых судей» установил не Тьюринг

Ученый просто сказал, что тест будет считаться пройденным, если «в беседе между человеком и компьютером человек ошибется так же часто, как в беседе между мужчиной и женщиной».

Откуда тогда родились эти 30%? Видимо, из этой фразы великого англичанина: «Думаю, приблизительно через 50 лет можно будет запрограммировать компьютеры на имитацию такого высокого уровня, что средний судья лишь с 70-процентной вероятностью сможет правильно идентифицировать собеседника после пяти минут опроса».

Как видите, это не критерий, а просто размышление о том, что может быть в 2000-е годы.

2. Тьюринг не ставил временного лимита в пять минут

Единственное упоминание про пять минут можно найти в его цитате выше. Так что вряд ли Тьюринг всерьез считал, что можно за столь короткое время объективно оценить уровень искусственного интеллекта и объявить его равным человеческому.

3. Тьюринг говорил лишь о «среднем судье»

Эксперты считают, что небольшого числа судей (30 человек) недостаточно, чтобы обеспечить того самого «среднего судью».

4. Тьюринг не имел в виду имитацию определенного человека

Он говорил о способности машины в целом сыграть роль человека, а не представиться конкретной персоной определенного возраста, умственного развития или уровня владения языком, что намного проще. Женя, напомним, имитирует 13-летнего, для которого английский — не родной.

5. Тест Тьюринга в любом случае «слишком плох»

Человеческий интеллект во многом зависит от опыта, полученного из взаимодействий с материальным миром. А тест Тьюринга это упускает. К тому же в его основе — обман, а не истинный интеллект. Немаловажен и уровень судей. Наивный человек, специалист по информатике или философ — большая разница. Так что считать, что с помощью этого теста действительно можно оценить искусственный инеллект было бы просто нелепо.

Между прочим, сами создатели Евгения Густмана ранее писали, что тест Тьюринга — «не более чем шутка британского математического гения, и практически не имеет отношения к главному вопросу: могут ли машины думать?»

Оставьте комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *