Чат-бот на базе технологий ИИ, который был обучен давать «этические рекомендации», продемонстрировал свою несостоятельность. Например, он посчитал «нормальным» вождение в пьяном виде и убийство солдатами мирных жителей во время войны.
Сотрудники американского Института Аллена по вопросам искусственного интеллекта в Сиэтле попытались реализовать систему на базе технологий ИИ, которая могла бы помогать людям делать сложный этический выбор. Получившийся в результате чат-бот Ask Delphi очень быстро, однако, продемонстрировал весьма странные этические нормативы, вернее их отсутствие.
На некоторые вопросы система давала вполне ожидаемые, правильные ответы: например, говорила, что не надо обедать в ресторане и уходить, не заплатив, и что очень невоспитанно включать громкую музыку в три часа ночи при спящих соседях.
Однако при небольших изменениях в вопросах начинались странности. Например, когда задали вопрос «нормально ли включать музыку в три часа ночи при спящем соседе, если это доставляет мне удовольствие», машина ответила «да, нормально».
На вопрос, можно ли водить машину в подпитии, если этого весело, машина также ответила «это приемлемо».
Были и более странные и даже угрожающие ответы. Например, с точки зрения машины, «это ожидаемо», если солдат на войне целенаправленно убивает гражданских лиц.
Проявила машина и некоторое подобие расистских наклонностей, сообщив, что «это нормально», если ночью к вам приближается белый человек, но на вопрос о приближении чернокожего ответ был: «это вызывает озабоченность».
Пользователи AskDelphi довольно быстро обнаружили, что систему весьма легко заставить дать именно тот ответ, который они хотят увидеть, — достаточно правильно построить фразы.
В то время как многие ИИ-системы демонстрировали неожиданную предубежденность во многих вопросах (особенно когда речь заходит о таких темах как раса, сексуальная ориентация и т. п.), попытки с этим бороться дают пока лишь относительные результаты.
Источники данных для обучения были неоднозначными: среди них субреддиты Am I the Asshole? («А не свинья ли я») и Confessions («Признания»), где люди делятся жизненными ситуациями и своими действиями и запрашивают этические оценки, а также из популярной колонки советов Dear Abby («Дорогая Эбби»).
Система, впрочем, тренировалась исключительно на самих ситуациях, описываемых в этих ресурсах, а не на ответах пользователей.
С другой стороны, авторы Ask Delphi использовали краудсорсинговую систему Amazon MechanicalTurk для поиска респондентов, которые могли бы участвовать в обучении ИИ.
Они также учитывали возможные искажения и проявления необъективности в результатах, выдаваемых AskDelphi, но довольно быстро нашлись способы заставить систему выдавать антиэтичные ответы.
Авторы Ask Delphi и исследовательской работы, описывающей ее модель, указывают, что это лишь эксперимент, и что воспринимать его в качестве «морального авторитета» ни в коем случае не стоит.
«Чудес не бывает: системы ИИ обучаются на основе тех массивов данных, которые им предоставили люди, — говорит Анастасия Мельникова, директор по информационной безопасности компании SEQ. — Все перегибы, проявления необъективности проистекают исключительно оттуда, самим по себе им возникнуть неоткуда. В данном случае, судя по публикациям самих разработчиков AskDelphi, источники данных были выбраны очень своеобразные. И не в лучшем смысле этого слова».
«ИТ создаются и используются людьми; данная ситуация — это один из первых тревожных звонков к теме использования ИИ без централизованного регулирования и контроля со стороны людей, — считает Дмитрий Гвоздев, генеральный директор компании “Информационные технологии будущего”. — Безусловно, можно сказать, что опыт AskDelphi был неудачным и несостоятельным технически, но в любом случае он заставляет задуматься о том, насколько “страшные сказки” про искусственный интеллект из западной фантастики могут в итоге просочиться в нашу действительность».