Искусственный интеллект - слуга, друг или змея подколодная?
2.Заповеди и запреты
Резюмируя предыдущий раздел, можно успокоиться: ИИ - это программа, и программа не может мыслить, а только моделировать мышление. И не только. Оказывается, моделировать эмоции, скепсис, иронию и прочие девичьи капризы благодаря нашей неугомонности мы тоже можем, но "не программируй все, что можно запрограммировать".
Но мыслит ИИ или не мыслит, а денег в его разработку вбухали немало, и пора бы получить какие-то выгоды от этого умника. Значит, пусть трудится для всеобщего блага. Значит, внедряется в общественные отношения и становится членом общества. И возникает вопрос: равноправный ли ИИ член общества и живет ли по человеческим законам, или он лишь слуга роду человеческому и для него свои законы писаны?
Традиционно опасными для человека предполагаются роботы - мобильные носители ИИ, но разве ИИ на стационарном компьютере менее опасен, если ныне и впредь на компьютере расположены все драйверы внешних устройств вплоть до запуска стратегических ракет? Поэтому в контексте наших разборок, оговаривая особые случаи, будем говорить об угрозах ИИ.
Если в предыдущем разделе рассмотрели фантазии философов, то теперь неплохо бы заглянуть, как писатели-фантасты философствуют.
К сожалению, многие потенциальные читатели игнорируют фантастику как жанр и серьезную литературу. Но, как и во всей литературе, в фантастике есть свои лидеры (наверно, даже классики) и аутсайдеры. Фантастика может, конечно, скатиться в высосанное из пальца фэнтези ни о чем, но есть же прекрасные произведения, в которых можно найти всё: интригу и юмор, драму и трагедию, социальную утопию и космогонию, поиск бога, пророчества и многое другое. И если всё это написано рукой мастера, которая видна, несмотря на вольности переводчика (тупой подстрочник тоже случается) и некачественное сканирование печатного текста, то читаем с удовольствием и размышлением.
Так что нам скажут писатели-фантасты о построении общественных отношений, при которых ИИ не фантастика, а повседневность?
Для разминки рассмотрим утопию Иена Бэнкса, обустройство цивилизации Культура. Я бы не заглянул в произведения этого шотландского писателя, но по признанию Илона Маска Бэнкс вдохновлял его по жизни. Что ж, у каждого поколения свои кумиры.
Несмотря на то, что у Бэнкса образы гуманоидов и представителей рода человеческого - подонки и извращенцы, самые человечные и морально мотивированные в своих поступках - это роботы Культуры и, наверно, их создатели, слепившие их по своему образу и подобию. Но поколения создателей уже давно сменили поколения потомков, воспитанных теми же роботами в традициях системы. Вот и получается, что основанием Культуры является ИИ, поддерживающий свободы паразитирующих гуманоидов, хотя в многомиллиардной цивилизации отмечено несколько десятков экселенцев с неординарным восприятием действительности, выделенных не для управления и принятия решений, а для добывания новой информации и консультаций в неординарных ситуациях. Так заведено от начала цивилизации. Но есть определенные риски в устойчивости системы: в цивилизации машин забота о паразитирующей биологической форме жизни имеет пределы здравого смысла, если, конечно, не поставить во главу угла заботу о сохранении биологического вида. А локальные и одиночные всплески пассионарных идей среди гуманоидов, которым не мила устойчивость системы, будут нивелированы непониманием сытого общества. Да ладно им: все неплохо устроились.
Вообще-то смысл нашего бытия сводится к постоянному стремлению к комфорту и благополучию. Для этого мы изобретаем или приобретаем изготовленные другими приспособления для нашего проживания. И вот появляются приспособления, роботы и ИИ, которые прекрасно могут сымитировать и подменить нас в нашем проживании. В заботах ИИ о существовании нашего биологического вида отпадает необходимость изобретения новых приспособлений, и вся наша цивилизация может превратиться в сытый обезьяний зоопарк - и это самая большая угроза роду человеческому. Вот такой идеал развития общества: свободные роботы и люди. Не лишние ли там люди?
Все социальные утопии сходятся в одном - в своей не реализуемости. То же можно сказать о структуре цивилизации Культура: нет властных структур, нет органов управления, нет денежных знаков, нет купи-продай, - материальный достаток и благоденствие обеспечивают роботы и мировой ИИ. Гуманоиды избавлены от забот о "хлебе и зрелищах" и ведут вполне благородный и культурный образ жизни. А сама Культура не навязчиво и "культурно" ведет экспансию во Вселенной для продвижения своих ценностей и получения новых материальных ресурсов для поддержания существующего порядка.
А порядок таков: гуманоиды и роботы имеют равный социальный статус с некоторым уточнением: робот должен в течение определенного времени отработать затраты на свое производство (обучение роботов и гуманоидов бесплатное) и, отработав, может заниматься чем угодно по своим интересам и предпочтениям. Конечно, если каждый робот - это личность со своими эмоциями, переживаниями, житейским и профессиональным опытом, так почему бы его не уравнять с другими членами общества? Но в этой сказке не все так гладко: а как же с выходом на пенсию у ИИ на стационарном железе? Или с роботами-трудягами в шахтах далеких планет, где наличие ИИ - помеха в производственном процессе? - У Бэнкса нет таких вопросов и ответов на них: Культура у него - только декорация, на фоне которой он ведет свое повествование. А устойчивость системы, в которой роботы и гуманоиды имеют равные права, на мой взгляд, иллюзорна, ибо существуют риски не для локальных конфликтов, а для всей системы, в частности для гуманоидов, как биологического вида.
И все же социальные аспекты внедрения робототехники и ИИ во все сферы человеческой деятельности уже сейчас тревожат устои цивилизации. Нельзя игнорировать социально-экономическую проблему, касающуюся внедрения ИИ и автоматизации всех сфер общественных отношений. - Как обеспечить достойное существование членам общества, лишенным рабочих мест в результате научно-технического прогресса? Я не касаюсь морального состояния людей, лишившихся своих рабочих мест, а чисто экономически понятно, что разрушается цепочка производство-потребление. Замена в массовом масштабе человека автоматом как минимум ставит целью сохранение объема производства, но человек, лишенный заработка, становится неполноценным потребителем. И эту проблему не решают пособия по безработице, переобучение и трудоустройство на другое рабочее место - возможности общества ограничены, а количество вакансий расти не будет. Естественное решение проблемы требует целевого налогообложения производителей для создания фонда потребления, который будет обеспечивать гарантированным доходом каждого члена общества. Нечто подобное предлагает Илон Маск, но, пролонгируя эту идею на всеобщую незанятость и категорически протестуя против принципа "всем поровну", получим альтернативу "каждому по потребности", а это уже близко к Иену Бэнксу. Так что внедрение робототехники и ИИ - это само по себе не угроза нашему существованию, а лишь спонтанный процесс в эволюции человеческого общества. С ИИ или без него нет гарантии, что наша цивилизация будет существовать вечно. Но не стоит об этом задумываться, как каждый из нас старается не думать о своем последнем часе.
И все же внедрение ИИ в человеческое общество должно иметь ограничения: как только общество полностью доверится логически обоснованным решениям электронного разума - это ли не конец цивилизации?
Вот как определяет подобную ситуацию писатель-фантаст Пол Андерсен в повести "Долгая дорога домой", где общество живет по законам и решениям мирового электронного правителя, именуемого Техноном: "... то, к чему стремится Технон - смерть, маскирующаяся механическим подобием жизни". И как бы не были мы благосклонны к ИИ - это мертвая субстанция, имитирующая жизнь. Какими бы процессами не управлял ИИ, даже исполняя роль мирового разума и выполняя функции законодательной и исполнительной власти, степень его ответственности та же, что в любой компьютерной игре, т.е. никакая. - "Что наша жизнь? - Игра!"
Пример правильного и "красивого" решения мирового разума описывает Станислав Лем в "Звездных дневниках Ийона Тихого" (двадцать четвертое путешествие). Когда на некой планете в результате перепроизводства, массовой безработицы и волнений обездоленных масс власти, не находя выхода из ситуации, дали команду Мастеру создать Машину, чтобы переложить бремя власти на Машину: "Пусть Машина установит на планете Высочайшую Гармонию, пусть установит и упрочит Совершенный и Абсолютный порядок". И порядок Машиной был установлен: сначала добровольно и с песнями, потом с некоторым принуждением, а затем с фанатизмом и фатализмом (за компанию - "чем я хуже других"), - каждый обитатель планеты пришел во дворец, построенный Машиной, где его упаковали в полуметровый металлический диск. Ну а Мастеру, творцу Машины, была оказана особая привилегия: его упаковали первым. И этими консервными дисками были выложены красивые узоры на поверхности планеты, чтобы случайные и неслучайные туристы могли любоваться такой "Высочайшей Гармонией, Совершенным и Абсолютным порядком", какие бывают только на кладбище.
И невозможно пройти мимо фантастики от Айзека Азимова. Герои его "Оснований" спотыкаются на организации общества на планете Солярия. Вся территория планеты поделена между двенадцатью сотнями гуманоидов-гермафродитов, произошедших от людей в результате искусственных генных мутаций. Каждый царек самодостаточен и защищен в своем уделе благодаря поддержке тысяч роботов и гарантии невмешательства сопредельных царств, а при необходимости поддержки, другими членами общества. Изолированность планеты и строгие разборки со случайными туристами позволяют долгие годы сохранять статус кво заведенного порядка. И никаких инициатив со стороны роботов: мозг хозяина - центр управления и контроля. Умер хозяин - все роботы обесточены. Да, "самодостаточен": сексуальное самообладание и производство потомства имеют место быть, но смысл имеет только один наследник. Территория не подлежит дроблению, двенадцать сотен латифундий должны быть неизменны: лишние потомки уничтожаются. Вот куда может завести стремление к благополучию, и никаких фондов потребления: уволен с работы - значит уже не существуешь.
Расследуя угрозы ИИ роду человеческому, появляется понимание, что главная угроза цивилизации - сам человек, или то, что он от себя может вложить в алгоритмы ИИ.
Отцом системы защиты от угроз со стороны ИИ является выше упомянутый Айзек Азимов. Его три закона робототехники прошитые в "железе" позитронного мозга робота должны стать уздечкой, сдерживающей ИИ робота от неконтролируемых действий. В отличие от Бэнкса, считавшего, что робот должен функционировать по общим законам с гуманоидами, для Азимова робот всегда слуга человеку.
Напомню эти три закона:
1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
2. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.
По ходу изложения своих фантастических саг роботы у Азимова набирались опыта, вмешивались не в свое дело, становились участниками мировых процессов с прекрасным желанием что-то подправить и не навредить, в результате появился четвертый закон или, правильно говоря, нулевой:
0. Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинён вред.
Считается (не припоминаю, чтобы Азимов на этом настаивал), что при появлении главного нулевого закона последующие три корректируются, например, первый закон должен звучать так:
1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред, когда это не противоречит нулевому закону.
Вот так: можно убить человека во благо человечества. Такие корректировки просто невозможны. Три закона незыблемы, они в базовой прошивке каждого позитронного мозга, их нельзя изменить и перепрограммировать, а нулевой закон - эмпирический и характеризует лишь этическое отношение к человечеству, не отменяя и подчиняясь трем законам. Этот закон сформулирован самими роботами, как обобщение их рационального функционирования в человеческом обществе. В конце концов ИИ может выработать для себя и другие правила поведения - все решают время и опыт и если алгоритмы, заложенные в мозг робота, позволяют такие правила формировать.
Если с нулевым законом более-менее понятно, то к "прошивке" есть вопросы.
Позитронный мозг - это компьютер, управляющий роботом. В компьютере есть
- постоянная память (заводская "прошивка") для хранения операционной системы и утилит, программ и данных отвечающих за движение робота, за распознавание зрительных и слуховых образов и т. п.,
- долговременная память для накопления специальных знаний и
- оперативная память, в поле которой происходит исполнение программ аппаратными процессорами мозга.
Как, например, реализовать исполнение первого закона? "Робот не может причинить вред человеку или своим бездействием..."
Во первых, бездействие - это то же действие, но навряд ли более лаконичная формулировка "Робот не может причинить вред человеку" приблизит нас к ответу.
Во вторых, что есть "человек"? Возвращаясь к повествованию о Солярии, вспомним, что для роботов людьми были только соляриане, а все "туристы" пускались в расход. И такое вполне может случиться на Земле, когда в отдельно взятой стране "человек" - исключительно местный житель да еще определенной национальности. И как быть, если робот столкнется с другой формой разума?
В третьих, что есть "вред"? - Физические увечья - вред. Стеснение свободы - вред. Донос - вред. Материальный ущерб - вред. И т.д. Вредоносная база и фильтры вредоносных действий разрастаются - и все это надо учесть и запаять в железо позитронного мозга. А вдруг что-то забыли или появится новая не учтенная угроза? - Значит надо предусмотреть расширение базы угроз, не в прошивке, конечно, а в долговременной памяти, где будет собираться и другая эмпирическая информация, опыт, навыки и наставления учителя.
Со вторым законом будто бы все проще, но в прошивку можно заложить только принцип подчинения, а исполнение приказов - опять же база процедур в долговременной памяти. Новый непонятный приказ должен требовать разъяснения и создания новой процедуры исполнения, причем в соответствии со вторым законом исполнение должно коррелироваться с базой угроз. Понятно, что угрозы причинить вред человеку должны исключаться как при создании процедуры исполнения, так и при каждом ее исполнении.
Третий закон также должен уточняться правилами безопасности для робота, например, "Не лезь в воду", но если есть угроза жизни человека на воде, то значит "лезь" - и робот погибнет и человеку не поможет. И опять получится много оговорок для исполнения третьего закона, которые для прошивки тоже не годятся.
Рассыпалась прошивка позитронного мозга, ничего от нее не осталось, реализация всех четырех законов ушла в долговременную память, и, определенно, поддержка жесткой логики законов чревата непредвиденными ситуациями, опасными для человека. Но таковы придуманные нами формальные системы - они работают в любом случае, а в непредвиденной ситуации с непонятным результатом. Парадоксы трех законов были рассмотрены как Айзеком Азимовым в серии рассказов о роботах, так и разного рода скептиками.
С другой стороны, можно согласиться с Бэнксом, что роботы, функционируя в человеческом обществе, должны жить по человеческим законам, но такой подход требует формализации всех законов (для ИИ и для людей тоже - законы должны быть общими): от Конституции до Уголовного кодекса. А эта задача и в отдаленном будущем не выполнима.
Но "древо жизни" по-прежнему зеленеет, и люди от науки не оставляют без внимания поставленные вопросы. Так Елиезер Юдковски исследует в Исследовательском институте машинного интеллекта (SIAI) в США проблемы глобального риска, которые может создать будущий сверхчеловеческий ИИ, если его не запрограммировать на дружественность к человеку. В 2004 году в SIAI был создан сайт AsimovLaws.com, созданный для обсуждения этики ИИ в контексте проблем, затронутых в фильме "Я, робот". На этом сайте они хотели показать, что законы робототехники Азимова небезопасны, поскольку, например, могут побудить ИИ захватить власть на Земле, чтобы "защитить" людей от вреда.
"Запрограммировать на дружественность" - но как, по каким формулам и алгоритмам? Мы уже рассмотрели два статуса ИИ - слуга и член общества. И теперь появляется "друг". Навряд ли это что-то новое, но иметь дружеские отношения со слугой и членом общества вовсе не плохо.