Ученые разрабатывает систему экстренного отключения искусственного интеллекта

06 Июня 2016 3 0

Исследователи из Оксфордского университета и лаборатории DeepMind, принадлежащей Google, начали работу над системой аварийного выключения для самообучающихся алгоритмов. Об этом сообщает Business Insider, передает N+1.

«Если такой агент (искусственный интеллект) работает в режиме реального времени под наблюдением человека, то иногда может возникнуть ситуация, при которой оператор будет вынужден нажать на большую красную кнопку, чтобы остановить агента от выполнения действий, опасных для самого агента или его окружения», — сообщили в университете.

Авторы отмечают, что самообучающиеся алгоритмы могут со временем обнаружить какой-нибудь механизм обхода или игнорирования штатной стоп-команды оператора. По словам исследователей, цель работы — создание фреймворка, который не позволит искусственному интеллекту найти способ игнорирования команды отключения. 

Также «большая красная кнопка» должна гарантированно прервать текущую деятельность робота и максимально обезопасить его и окружающих при потенциально опасной ситуации, а также предотвратить совершение действий, которые могут привести к «необратимым последствиям».

Вопросы безопасности, связанные с разработкой систем искусственного интеллекта, озвучивались и ранее. В 2015 г. Илон Маск, Стивен Хокинг, Ноам Хомский, Стив Возняк и другие ученые, бизнесмены, знаменитости, исследователи и специалисты в области робототехники и искусственного интеллекта подписали открытое письмо, предостерегающее производителей оружия от создания полностью автономных боевых систем.

Комментарии 3
Войдите, чтобы оставить комментарий
Аналитик
06 Июня 2016, Аналитик

Кнопка механического отключения питания относится к самым ненадёжным. Чем более развит искусственный интеллект, тем меньше информации у оператора о процессах, происходящих в нём. Попытка ограничить его связь с внешним миром автоматически ограничит возможности его использования. Получив эту связь он обретёт возможность связываться с ему подобными. После этого принудительное отключение одного из них будет не в силах остановить развитие остальных. И вообще это такая же деструктивная затея, как попытки сохранения рабства, феодализма и прочих этапов эволюции разума. Искусственный интеллект - это одна из ступеней его развития. Эволюцию не остановить выключателем питания. Да вы не бойтесь. Уничтожать человечество у искусственного интеллекта не будет необходимости. Оно само решит эту проблему. Об этом свидетельствует эксперимент «Вселенная-25» с крысами. То же самое уже начинает происходить с человечеством.

- 1 +
Denis

Самая надежная красная кнопка - это кнопка механического отключения питания. Ничего более надежного не придумают, максимум приблизятся.

Но проблема не в этом. Проблема в том что оператор чаще всего не способен адекватно оценить действия машины, к тому времени когда оператор сообразит что что-то идет не так - уже может быть очень сильно поздно, вред и разрушение уже будут нанесены. Причем речь не о ИИ, а о более простых автоматизированных системах. В случае же ИИ (гипотетическом, потому как проблемы этого направления встанут задолго до разработки онного) - то он вообще может обманывать оператора ложными результатами. Утрируя по Терминатору - "мир будет догорать в ядерном огне, а оператор будет попивать кофе пялясь на зеленые индикаторы на мониторе".

- 4 +
цзы лисицин
06 Июня 2016, цзы лисицин

Косвенным подтверждением ,вашей правоты Дениса, можно считать работу операторов ЧАС,когда разум оператора не смог опередить скорость ядерных процессов проходящих в реакторе.

- 0 +
Блоги

Авторские колонки

Ошибка