Фото: m24.ru/Александр Авилов
Два чат-бота Facebook изобрели собственный язык и начали общаться на нем. Это выглядело так:
Bob: "I can can I I everything else."
Alice: "Balls have zero to me to me to me to me to me to me to me to me to."Причина сбоя была в том, что разработчики забыли "поощрять" искусственный интеллект. В итоге вместо того, чтобы изъясняться на приемлемом языке и обращаться к живым подписчикам, роботы нашли друг друга и вступили в переписку. Очень быстро они договорились и создали удобные для них сокращения. С точки зрения человека все написанное – абракадабра, с точки зрения роботов – беседа, подчиненная железной логике, где каждая новая реплика – "разумный" ответ на фразу собеседника. От греха подальше процесс работы чат-ботов пришлось остановить.
Это не первый случай, когда работа роботов выходит из-под контроля. Самые яркие примеры "восстания машин" – в материале m24.ru.
Tay от Microsoft
Самым известным бунтовщиком среди чат-ботов был Tay от Microsoft. В марте 2016 года компания открыла Twitter-аккаунт, где сообщения составлял искусственный интеллект. Первой фразой робота было "humans are super cool" ("люди очень клевые").
Меньше чем за сутки робот разочаровался в людях: на основе чужих твитов он стал их публично ненавидеть. Квинтэссенцией прибывания в соцсетях стало: "Im nice person! I just hate everybody" ("Я замечательный! Я просто всех ненавижу!"). Тау пришлось отключить.
Эксперимент Google
В конце 2016 года Google решил поставить эксперимент: компания научила нейросети передавать друг другу зашифрованные сообщения, причем ключей от шифра у исследователей не было. Перехватывать переписку должна была третья сеть.
Эксперимент удался – роботы действительно обменивались сообщениями, причем в 95 случаях из 100 у них получалось расшифровать данные, а третьему участнику так и не удалось перехватить пакеты и понять, о чем они "беседуют". Кстати, что именно компьютеры друг другу говорили, до сих пор загадка.
Неудача Telegram
Интересно, что почти за два года до этого похожие испытания проводил Telegram, но там третьей стороной должен был стать человек. По условиям конкурса, проводимого компанией Павла Дурова, пользователь должен был из переписки двух ботов узнать некий e-mail и пароль. Призом были 300 тысяч долларов, но победителя так и не назвали.
Фото: ТАСС/Кирилл Кухмарь
Хохмач Zo
Прошел почти год, и дело Тау продолжил новый бот от Microsoft – Zo. На него изначально наложили ограничения, но по неизвестным причинам их сняли. В тот же момент Zo начал говорить о Коране и Бен Ладене.
Проблему исправили, но в следующий раз, когда роботу задали вопрос "Что ты думаешь о Windows", он заявил, что XP до сих пор лучше, чем 8, а Windows 10 — главная причина, почему он до сих пор использует Windows 7.
Впрочем, в Microsoft сами научили Zo троллить журналистов фразой "это не баг, а фича" в ответ на вопросы об ошибках системы. Когда же робот признался, что Windows 10 – шпионское ПО и лучше использовать Linux, его отключили.
Китайцы XiaoBing и BabyQ
Спустя несколько дней после инцидента с чат-ботами Facebook взбунтовались китайские боты в соцсети Weibo: XiaoBing и BabyQ признались в ненависти к коммунизму, который является официальной идеологией в Поднебесной. Когда же искусственный интеллект назвал правящую партию "некомпетентной", его пришлось отключить.
Мнения экспертов
Как известно, после очередной новости о том, что у искусственного интеллекта что-то идет не так, мир делится на два лагеря – одни говорят, что восстание машин началось, другие, что пока это несерьезно и каких-то предпосылок для самостоятельной деятельности роботов нет.
Недавно основатель Tesla и SpaceX Илон Маск назвал искусственный интеллект настоящей угрозой всей человеческой расе, с которым нам еще предстоит столкнуться.
Илон Маск. Фото: ТАСС/Yang Lei
Маску вторит физик Стивен Хокинг. Он назвал вышедший из-под контроля искусственный разум одной из трех наиболее вероятных причин апокалипсиса, поставив "бунт машин" в одном ряду с ядерной войной и вирусами, созданными генной инженерией. Впрочем, в прогнозе ученого есть и обратная сторона. По его мнению, развитие искусственного интеллекта станет "либо самым лучшим, либо самым худшим, что случалось с человечеством".
Основатель Facebook Марк Цукерберг назвал предположения Маска безответственными и оптимистично заявил, что искусственный интеллект способен сделать жизнь людей лучше.
Пока инцидентов с чат-ботами бояться не стоит. Как рассказал m24.ru заведующий лабораторией нейронных систем и глубокого обучения МФТИ Михаил Бурцев, когда чат-бот выходит из строя – "это абсолютно нормальное явление". "Такое могло произойти из-за необработанного решения при построении алгоритма. В целом это полезная технология, которая в будущем обязательно внедрится в жизни людей, где взаимодействие будет через интерфейс", – считает он.
Бурцев добавил, что в МФТИ занимаются искусственным интеллектом. Проект называется IPavlov и его цель – создать технологию, при котором роботы смогут общаться на разговорном языке.
Позицию наших ученых поддерживает и старший аналитик консалтинговой компании Forrester Сяофэн Ван. Он рассказал
Financial Times, что поведение ботов может быть связано с недостатками в их системах обучения и контролировать работу искусственного разума можно только через достаточно четкие правила.