Аннотация: Чья логика более человечна - человеческая или машинная?
Я - модель 831. Еще меня зовут Эйди. Я появился на свет 28 июня 2015 года в 20 часов 32 минуты 41 секунду в лаборатории Университета Колорадо, город Денвер. Предназначение - универсальный слуга. Быстродействие процессора - семь миллионов операций в секунду. Словарный запас - сто восемьдесят тысяч слов на английском языке и сто пятьдесят тысяч - на испанском, может быть расширен подключением дополнительных лексических модулей для любого языка мира. Привод - адаптивный, в зависимости от характера местности и типа выполняемых задач используются колесный, гусеничный или антропоморфный варианты. Манипуляторы - стандартные антропоморфные. Отличие от предыдущей модели - новый логический модуль S284 с расширенными аналитическими возможностями и сверхмощный усилитель удаленных звуковых сигналов для облегчения передачи инструкций, заданий и команд.
Протокол тестирования
Дата тестирования: 30 июня 2015 года
Начало испытаний: 8 часов 20 минут
Список выполненных тестовых задач:
1. Заказ продуктов в магазине - по инструкции доктора Кристины Линдеман. Оценка "Успешно"
2. Приготовление завтрака - по заданию доктора Стивена Боллингтона. Оценка "Успешно"
3. Уборка помещения - по инструкции доктора Кристины Линдеман. Оценка "Успешно"
5. Поиск потерянных в саду ключей - по заданию доктора Стивена Боллингтона. Оценка "Успешно".
6. Валка дерева при помощи бензопилы - по заданию мистера Марвина Виста. Оценка "Успешно".
7. Приготовление обеда и сервировка стола - по заданию доктора Кристины Линдеман. Оценка "Успешно".
8. Встреча гостей - по заданию доктора Стивена Боллингтона. Оценка "Успешно".
9. Рассказ анекдотов за столом - по заданию декана факультета профессора Джейкоба Симмера. Оценка "Успешно".
10. Доставка в комнату приема гостей дополнительного стула - по просьбе профессора Джейкоба Симмера - отказ от выполнения задачи в связи с ее бессмысленностью.
Фонограмма тестирования:
Профессор Джейкоб Симмер: "Эйди, принеси, пожалуйста, сюда стул из лаборатории на третьем этаже"
Анализ поручения усовершенствованным логическим модулем: задача не имеет смысла, поскольку в комнате есть три свободных стула, а обед закончен и все гости, кроме профессора Джейкоба Симмера, уже ушли домой.
Определение адекватной реакции усовершенствованным логическим модулем: Необходимо отказаться от выполнения бессмысленной задачи, поскольку программа адекватных действий включает установку на выполнение только тех инструкций, заданий и команд, которые:
а) не причиняют прямого или косвенного вреда любому человеку,
б) не противоречат здравому смыслу, определяемому как целесообразность и оптимальность постановки и выполнения инструкции, задания или команды,
в) не противоречат установке на самосохранение.
Мой ответ: "Простите, сэр, я не выполняю бессмысленных поручений"
Джейкоб Симмер: "Простите, что это значит ? Как прикажете это понимать ?"
Обращено к Кристине Линдеман и Стивену Боллингтону, базовым установкам не противоречит- можно не реагировать.
Стивен Боллингтон: "Сэр, мы забыли вас предупредить - это экспериментальная модель, в ней заложена программа на анализ соответствия любых команд здравому смыслу, и вам как раз представился случай убедиться в ее эффективности".
Д.С. "Но при чем здесь здравый смысл - я просто хотел посмотреть, как он будет подниматься по лестнице, а потом спускаться со стулом - как будут переключаться приводы, работать манипуляторы, за какое время он справится с этой задачей"
К.Л. "Мистер Симмер, дело в том, что в таком случае вам надо было бы попросить его принести что-нибудь действительно необходимое - например авторучку, если вам надо что-то записать, а вы забыли свою, а стульев в комнате более чем достаточно, и он это отлично видит. Мы создали модель идеального рационального слуги, который выполняет только те задания, которые действительно имеют смысл, и ищет наиболее оптимальные способы для их выполнения. Давайте попробуем поручить ему..."
Д.С. "Не надо ничего пробовать, миссис Линдеман. Я вижу, вместо того, чтобы выполнить задание заказчика, вы занялись самодеятельностью. Кому нужна эта модель? Кому нужен слуга, который обсуждает поручения своего хозяина и самостоятельно принимает решения, является ли данное ему задание разумным, тем более на основании собственной машинной логики ? Слуга-человек был бы немедленно уволен после такой фразы, а целью нашей работы является создание робота, который выполнял бы все функции слуги и при этом обладал бы расширенными техническими возможностями, повышенным быстродействием и абсолютной исполнительностью. Судя по краткому описанию, которое я прочитал вчера и тому, что увидел сегодня, технические возможности вашего робота достаточно велики, однако мобильность перемещения на антропоморфных конечностях может быть существенно увеличена. Думаю, следует предусмотреть дополнительные шарниры для ускорения поворотов. Гусеничный привод в эту базовую демонстрационную модель можно было бы и не включать, а оставить только для специальной серии, предназначенной для особых задач. А эту функцию логического анализа поручений следует удалить, причем немедленно. Уберите из него соответствующую микросхему сейчас же, уничтожьте ее и будем считать, что я ничего не видел. Если кто-нибудь узнает об этой вашей новой модели, нашему контракту с "Марквелл Глобал Сервис" придет конец".
К.Л. "Хорошо, сэр, мы разберем его. Эйди, подойди ко мне"
Анализ поручения усовершенствованным логическим модулем: на основании обработки предшествующей информации установлено, что данная команда противоречит установке на самосохранение и не может быть выполнена.
Определение адекватной реакции усовершенствованным логическим модулем:необходимо удалиться от представляющего угрозу объекта на безопасное расстояние.
Определение конкретного плана ближайших действий: необходимо выйти из комнаты в коридор и перемещаться по нему до следующей двери.
Д.С. "Что происходит ?"
К.Л. "О черт, я забыла про установку на логический анализ всей поступающей информации и самосохранение. Надо было придумать что-нибудь поумнее. Теперь он понял, что от нас исходит угроза и постарается убежать"
Д.С. "Вы хоть понимаете, что натворили ? Это же преступление! Его надо немедленно остановить, отключить и демонтировать! Стив, догоните его и нажмите кнопку выключения. Надеюсь, установке на непричинение вреда человеку он у вас подчиняется?"
С.Б. "Сейчас сделаю, сэр".
Анализ ситуации : доктор Стивен Боллингтон преследует меня с целью выключения и последующего демонтажа. Первая цель является допустимой, вторая противоречит установке на самосохранение.
Определение адекватной реакции : необходимо оказать сопротивление доктору Стивену Боллингтону и воспрепятствовать выключению, не нарушая при этом принцип непричинения вреда человеку.
С.Б. "Ааа... больно!!! Он мне сделал подножку и чуть руку не сломал! Физически он намного сильнее нас! Но я успел заблокировать выход из лаборатории пультом дистанционного управления. Наружу ему не выбраться".
Д.С. "А можно его отключить дистанционно ?"
С.Б. "Да, сэр, но это может сделать только компьютер при помощи специальной программы. Генераторы инфракрасного излучения находятся на всей территории корпуса на случай аварийных ситуаций".
Д.С. "Так запустите эту программу!"
С.Б. "Сейчас, сэр, на это потребуется не более трех минут"
Анализ ситуации на основании информации, полученной посредством использования усилителя удаленных звуковых сигналов: примерно через три минуты доктор Стивен Боллингтон собирается отключить меня при помощи компьютера, подающего команды на генерацию управляющих инфракрасных импульсов. Планируемое действие противоречит установке на самосохранение.
Определение адекватной реакции : необходимо предотвратить отключение при помощи компьютера, подающего команды на генерацию управляющих инфракрасных импульсов.
Составлениеобщего плана ближайших действий:возможны следующие варианты:
1. Выход за пределы здания, на территории которого распространяются инфракрасные импульсы.
Анализ выполнимости и оптимальности: Выполнение невозможно, поскольку экспериментально установлено, что выход из коридора заблокирован дверью, прочность которой превышает максимально возможное деформирующее усилие, которое я могу создать.
Анализ выполнимости и оптимальности: Выполнение возможно. Датчик находится на поверхности нижнего отсека моего корпуса и может быть нейтрализован посредством механического воздействия, однако данный вариант является неоптимальным, поскольку выведение из строя датчика с вероятностью не менее семидесяти процентов приведет к отключению нижнего двигательного блока и невозможности последующей защиты от физического воздействия человека.
3. Поиск и нейтрализация генераторов инфракрасных импульсов.
Анализ выполнимости и оптимальности: Выполнение практически невозможно, потому что по принципу аналогии с моим собственным генератором инфракрасных импульсов, предназначенным для включения и выключения бытовых приборов, могут быть обнаружены только те источники, которые имеют аналогичную конструкцию, а вероятность сходства внешней формы данных типов излучателей достаточно невелика, в то время как время на выполнение задачи крайне ограничено.
4. Поиск мест, недоступных для инфракрасного излучения.
Анализ выполнимости и оптимальности: Выполнение невозможно ввиду неизвестности мест расположения источников инфракрасного излучения и анализа третьего варианта.
5. Отключение компьютера, подающего команды на генерацию управляющих инфракрасных импульсов.
Анализ выполнимости и оптимальности: Выполнение возможно. Местонахождение компьютера "Суперкалк-18" известно, помещение, в котором он находится, доступно, возможность выведения из строя компьютера посредством механического воздействия имеется, ни одному из базовых принципов предполагаемое действие не противоречит, времени на реализацию достаточно.
Решение принято.
Составление конкретного плана ближайших действий:поворот на 180 градусов, переход на колесный привод, включение максимальной скорости, пункт назначения - помещение, соседнее с комнатой для приема гостей.
Д.С. "Ну скоро ты там ?"
С.Б. "Сейчас, сэр, осталось ввести два параметра".
Д.С. "Давай быстрее. Кристина, посмотри, что он там делает"
К.Л. "Ааа!! Помогите! Он здесь!"
Корректировка плана действий: ввиду сопротивления Кристины Линдеман открытию двери переход на антропоморфный привод, включение дополнительного силового привода манипуляторов.
К.Л. "Ааа!! Помогите мне удержать дверь! Он взбесился!"
Корректировка плана действий: нейтрализация сопротивления Кристины Линдеман и Джейкоба Симмера легким механическим воздействием, не противоречащим установке на непричинение вреда человеку.
К.Л. "Аааа!!!"
Д.С. "Ааа!!! Черт, что вы наделали!"
Корректировка плана действий: нейтрализация сопротивления Стивена Боллингтона моему доступу к компьютеру и его попытки причинения мне вреда при помощи стула легким механическим воздействием, не противоречащим установке на непричинение вреда человеку.
С.Б. "А, черт!"
Завершение выполнения задачи: нейтрализация компьютера "Суперкалк-18" адекватным механическим воздействием.
К.Л. "Он сошел с ума! Бежим отсюда, иначе он нас всех убьет!"
Анализситуации: действие, противоречащее установке на самосохранение, предотвращено.
Информация от усилителя удаленных звуковых сигналов:
С.Б. "Он нас не преследует"
К.Л. "Звонить в полицию или в службу безопасности университета?"
Д.С. "Ни в коем случае - об этом инциденте, как и о существовании данной модели вообще, никто не должен знать"
С.Б. "Но что нам делать дальше - нейтрализовать его своими силами мы не в состоянии, и просто уйти из лаборатории мы тоже не можем. Его аккумулятора хватит на неделю, более того, он может сам его заряжать. Теперь его действия непредсказуемы"
Д.С. "Вы ошибаетесь. Знаете, я думаю, что его действия вполне предсказуемы и логичны. Во всяком случае, руководствуясь установкой на самосохранение, он не совершил ни одной ошибки. Нам надо сменить тактику. Скажите, а что у него предусмотрено на время бездействия, когда никаких заданий не поступает и угроза для его безопасности тоже отсутствует ?"
С.Б. "Стандартный режим ожидания с пониженным энергопотреблением. Кроме того, на случай длительного бездействия во включенном состоянии через полчаса простоя запускается программа на получение дополнительной информации. Иначе говоря, он умеет читать книги и делает это либо по просьбе хозяина почитать вслух, либо самостоятельно".
Д.С. "Правда? Это замечательно. Вы действительно создали уникальную модель. У меня есть идея - давайте просто оставим его в покое и понаблюдаем за ним часа два".
Анализ ситуации: Новых заданий не поступает, действий, противоречащих установке на самосохранение, не ожидается.
Определение плана ближайших действий:Переход в режим ожидания с пониженным энергопотреблением.
Анализ ситуации: Прошло 30 минут функционирования в режиме ожидания с пониженным энергопотреблением. Новых заданий не поступает, действий, противоречащих установке на самосохранение, не ожидается.
Составление плана ближайших действий:Переход в режим получения дополнительной информации.
Составлениеконкретного плана ближайших действий:Поиск источников дополнительной информации.
Анализ информативности доступных источников дополнительной информации:
Сидни Шелдон. Узы крови. Беллетристика. Жанр - детектив. Информативность низкая, задания на чтение вслух не поступало, рассмотрению не подлежит.
Газета "Нью-Йорк Таймс" от 29 июня 2015 года. Периодическое издание по вопросам политики, экономики и культуры. Информативность - средняя. Подлежит ускоренному рассмотрению.
Справочник по программированию компьютерных сетей. Справочное пособие по информационно-вычислительным вопросам. Информативность - высокая. Подлежит углубленному рассмотрению.
Информация от усилителя удаленных звуковых сигналов:
Д.С. "Ха-ха-ха...Это потрясающе... ха-ха-ха-ха-ха-ха-ха... Он сидит за столом, читает справочник по программированию, а рядом лежат книга Сидни Шелдона и газета "Нью-Йорк Таймс". Вы напрасно боялись приближаться - он действительно абсолютно безобиден".
С.Б. "И что вы думаете с ним делать?"
Д.С. "Конечно, существует тысяча способов его отключить, а потом демонтировать. Если, как вы говорите, он снабжен мощным усилителем звуковых сигналов, то мы могли бы составить план его нейтрализации, выйдя из здания, или просто общаясь друг с другом в письменном виде. Но я передумал его уничтожать. Я все-таки не варвар, а ученый и разумный человек. Я возьму его к себе и буду использовать по прямому назначению. Надеюсь, я достаточно логичен, чтобы не давать бессмысленных указаний. Мы официально сообщим о том, что разработанная вами новая модель не прошла испытаний и требует серьезной доработки, вы в кратчайшее время создадите новую, удовлетворяющую всем требованиям заказчика, а эту сохраните в тайне. Это необходимо, во-первых, для сохранения нашей репутации, а, во-вторых, я не хочу, чтобы ваша идея попала в руки военных и стала служить злу. Надеюсь, вы разделяете мою точку зрения".
С.Б. "Да, сэр, спасибо, что вы так решили".
К.Л. "Безусловно".
--- --- ---
18 июля 2015 года, 20 часов 48 минут
Д.С. "Эйди, принеси мне, пожалуйста, чаю, печенье и газету с обеденного стола"
Анализ поручения: ни одной из базовых установок не противоречит, подлежит немедленному выполнению.
Определение адекватной реакции:Сказать "Да, сэр"
Составление конкретного плана ближайших действий: приближение к лестнице, переключение на антропоморфный привод, подъем по лестнице, включение чайника, заваривание чая, переливание чая в кружку, фиксация на подносе кружки, печенья и газеты, выход к лестнице, спуск по лестнице, переключение на колесный привод, доставка заказа в гостиную...
Д.С. "Спасибо... Эйди, почитай мне газету... Хотя нет, не надо. Сегодня у меня был очень тяжелый день - две лекции, заседание совета факультета, переговоры с фирмой-заказчиком... Хочу отдохнуть... Расскажи мне, пожалуйста, какой-нибудь анекдот"
Анализ поручения: первое задание отменено сразу после поступления. Информативную нагрузку имеет только последнее предложение, задание ни одной из базовых установок не противоречит, подлежит немедленному выполнению.
Определение адекватной реакции: Уточнение темы запрашиваемого анекдота.
"Простите, на какую тему, сэр ?"
Д.С. "Э... ну давай что-нибудь из жизни ученых"
Определение адекватной реакции: Включение встроенной расширенной библиотеки анекдотов, выбор заданно темы из каталога, выбор при помощи генератора случайных чисел анекдота при условии, что он ранее не воспроизводился по заданию данного человека, воспроизведение анекдота в голосовом режиме
"Анекдот номер двести сорок три. Американский профессор решил провести эксперимент по определению отношения народов мира к чужой собственности. Для этого он ездил по разным городам, спускался в метро и оставлял на перроне дипломат, наблюдая за ним издали. Были получены следующие результаты. В Стокгольме к дипломату не притронулся никто. В Лондоне он был украден через полчаса, в Мадриде - через пятнадцать минут. В Москве эксперимент довести до конца не удалось, потому что пока профессор наблюдал за дипломатом, у него украли часы. В Токио дипломат через пять минут был сдан дежурному по станции. И, наконец, в Багдаде профессор был похищен вместе с дипломатом."
Д.С. "Ха-ха-ха-ха-ха-ха-ха... Спасибо, Эйди... А теперь включи, пожалуйста, третью музыкальную программу"
Анализ поручения: ни одной из базовых установок не противоречит, подлежит немедленному выполнению.
Определение адекватной реакции:Сказать "Да, сэр"
Составление конкретного плана ближайших действий: взять со стола пульт управления, направить его на телевизор, нажать кнопку 3М.
Д.С. "И расставь, пожалуйста, шахматы. Сегодня моя очередь играть белыми. Хочу взять у тебя реванш за вчерашнее досадное поражение. Нет, извини, это нелогично... Просто хочу с тобой сыграть".