«Мы предлагаем, чтобы в течение 2 месяцев, десять человек изучали искусственный интеллект летом 1956 года в Дармутском колледже, Ганновер, Нью Гемпшир. Исследование будет выполнено на основе предположения, что любой аспект обучения или любое другое качество интеллекта может быть в принципе столь точно описано, что может быть сделана машина, чтобы симулировать его. Будет предпринята попытка узнать, как сделать так, чтобы машины использовали язык, формировали абстракции и концепции, разрешали бы те проблемы, которые сейчас доступны только людям, и улучшали себя. Мы полагаем, что возможно существенное продвижение в одной или нескольких из этих работ, если тщательно подобранная группа учёных проработает над этим вместе в течение лета».
- Маккарти, Мински, Рочестер и Шеннон (McCarthy, Minsky, Rochester and Shannon, 1955).
Предложение Дартмутского Летнего Исследовательского Проекта по Искусственному Интеллекту являет собой первое зафиксированное употребление фразы «Искусственный Интеллект». У них не было предыдущего опыта, который мог бы их предупредить, что проблема трудна. Я бы назвал искренней ошибкой то, что они сказали, что «значительное продвижение может быть сделано», а не есть «есть небольшой шанс на значительное продвижение». Это специфическое утверждение относительно трудности проблемы и времени решения, которое усиливает степень невозможности. Но если бы они сказали «есть небольшой шанс», у меня бы не было возражений. Откуда они могли знать?
Дартмутское предложение включало в себя, среди прочего, следующие темы: лингвистические коммуникации, лингвистические рассуждения, нейронные сети, абстрагирование, случайность и творчество, взаимодействие с окружением, моделирование мозга, оригинальность, предсказание, изобретение, открытие и самоулучшение.
Теперь мне кажется, что ИИ, способный к языкам, абстрактному мышлению, творчеству, взаимодействию с окружением, к оригинальности, предсказаниям, изобретению, открытиям, и, прежде всего, к самоулучшению, находится далеко за пределами того уровня, на котором он должен быть так же и Дружественным. В Дармутском предложении ничего не говорится о построении позитивного / доброго / благоволящего ИИ. Вопросы безопасности не обсуждены даже с целью отбросить их. И это в то искреннее лето, когда ИИ человеческого уровня казался прямо за углом. Дармутское предложение было написано в 1955 году, до Асиломарской конференции по биотехнологии, детей, отравленных тамиламидом во время беременности, Чернобыля и 11 Сентября. Если бы сейчас идея Искусственного интеллекта был бы предложена в первый раз, кто-то доложен был бы постараться выяснить, что конкретно делается для управления рисками. Я не могу сказать, хорошая это перемена в нашей культуре или плохая. Я не говорю, создаёт ли это хорошую или плохую науку. Но сутью остаётся то, что если бы Дартмутское предложение было бы написано 50 лет спустя, одной из его тем должна была бы стать безопасность.
В момент написания этой статьи в 2006 году, сообщество исследователей ИИ по-прежнему не считает Дружественный ИИ частью проблемы. Я бы хотел цитировать ссылки на этот эффект, но я не могу цитировать отсутствие литературы. Дружественный ИИ отсутствует в пространстве концепций, а не просто не популярен или не финансируем. Вы не можете даже назвать Дружественный ИИ пустым местом на карте, поскольку нет понимания, что что-то пропущено . Если вы читали научно-популярные/полутехнические книги, предлагающие, как построить ИИ, такие как «Гёдель, Эшер, Бах». (Hofstadter, 1979) или «Сообщество сознаний» (Minsky, 1986), вы можете вспомнить, что вы не видели обсуждения Дружественного ИИ в качестве части проблемы. Точно так же я не видел обсуждения Дружественного ИИ как технической проблемы в технической литературе. Предпринятые мною литературные изыскания обнаружили в основном краткие нетехнические статьи, не связанные одна с другой, без общих ссылок за исключением «Трёх законов Робототехники» Айзека Азимова. (Asimov 1942.) Имея в виду, что сейчас уже 2006 год, почему не много исследователей ИИ, которые говорят о безопасности? У меня нет привилегированного доступа к чужой психологии, но я кратко обсужу этот вопрос, основываясь на личном опыте общения.
Поле исследований ИИ адаптировалось к тому жизненному опыту, через который оно прошло за последние 50 лет, в частности, к модели больших обещаний, особенно способностей на уровне человека, и следующих за ними приводящих в замешательство публичных провалов. Относить это замешательство к самому ИИ несправедливо; более мудрые исследователи, которые не делали больших обещаний, не видели триумфа своего консерватизма в газетах. И сейчас невыполненные обещания тут же приходят на ум, как внутри, так и за пределами поля исследований ИИ, когда ИИ упоминается. Культура исследований ИИ адаптировалась к следующему условию: имеется табу на разговоры о способностях человеческого уровня. Есть ещё более сильное табу против тех, кто заявляет и предсказывает некие способности, которые они ещё не продемонстрировали на работающем коде.
У меня сложилось впечатление, что каждый, кто заявляет о том, что исследует Дружественный ИИ, косвенным образом заявляет, что его проект ИИ достаточно мощен, чтобы быть Дружественным.
Должно быть очевидно, что это не верно ни логически, ни философски. Если мы представим себе кого-то, кто создал реальный зрелый ИИ, который достаточно мощен для того, чтобы быть Дружественным, и, более того, если, в соответствии с нашим желаемым результатом, этот ИИ действительно является Дружественным, то тогда кто-то должен был работать над Дружественным ИИ годы и годы. Дружественный ИИ – это не модуль, который вы можете мгновенно изобрести, в точный момент, когда он понадобится, и затем вставить в существующий проект, отполированный дизайн которого в остальных отношениях никак не изменится.
Поле исследований ИИ имеет ряд техник, таких как нейронные сети и эволюционное программирование, которые росли маленькими шажками в течение десятилетий. Но нейронные сети непрозрачны – пользователь не имеет никакого представления о том, как нейронные сети принимают свои решения – и не могут быть легко приведены в состояние прозрачности; люди, которые изобрели и отшлифовали нейронные сети, не думали о долгосрочных проблемах Дружественного ИИ. Эволюционное программирование (ЭП) является стохастическим, и не сохраняет точно цель оптимизации в сгенерированном коде; ЭП даёт вам код, который делает то, что вы запрашиваете – большую часть времени в определённых условиях, но этот код может делать что-то на стороне. ЭП – это мощная, всё более зрелая техника, которая по своей природе не подходит для целей Дружественного ИИ. Дружественный ИИ, как я его представляю, требует рекурсивных циклов самоулучшения, которые абсолютно точно сохраняют цель оптимизации.
Наиболее сильные современные техники ИИ, так, как они были развиты, отполированы и улучшены с течением времени, имеют основополагающую несовместимость с требованиями Дружественного ИИ, как я их сейчас понимаю. Проблема Y2K, исправить которую оказалось очень дорого, хотя это и не было глобальной катастрофой, - точно так же произошла из неспособности предвидеть завтрашние проектные требования. Кошмарным сценарием является то, что мы можем обнаружить, что нам всучили каталог зрелых, мощных, публично доступных техник ИИ, которые соединяются, чтобы породить неДружественный ИИ, но которые нельзя использовать для построения Дружественного ИИ без переделывания всей работы за три десятилетия с нуля. В поле исследований ИИ довольно вызывающе открыто обсуждать ИИ человеческого уровня, в связи с прошлым опытом этих дискуссий. Есть соблазн поздравить себя за подобную смелость, и затем остановиться. После проявления такой смелости обсуждать трансчеловеческий ИИ кажется смешным и ненужным. (Хотя нет выделенных причин, по которым ИИ должен был бы медленно взбираться по шкале интеллектуальности, и затем навсегда остановиться на человеческой точке.) Осмеливаться говорить о Дружественном ИИ, в качестве меры предосторожности по отношению к глобальному риску, будет на два уровня смелее, чем тот уровень смелости, на котором выглядишь нарушающим границы и храбрым.
Имеется также резонное возражение, которое согласно с тем, что Дружественный ИИ является важной проблемой, но беспокоится, что, с учётом нашего теперешнего понимания, мы просто не на том уровне, чтобы обращаться с Дружественным ИИ: если мы попытаемся разрешить проблему прямо сейчас, мы только потерпим поражение, или создадим анти-науку вместо науки. И об этом возражении стоит обеспокоится. Как мне кажется, необходимые знания уже существуют – что возможно изучить достаточно большой объём существующих знаний и затем обращаться с Дружественным ИИ без того, чтобы вляпаться лицом в кирпичную стену – но эти знания разбросаны среди множества дисциплин: теории решений, эволюционной психологии, теории вероятностей, эволюционной биологии, когнитивной психологии, теории информации и в области знаний, традиционно известной как «Искусственный интеллект»… Не существует также учебной программы, которая бы подготовила большой круг учёных для работ в области Дружественного ИИ.
«Правило десяти лет» для гениев, подтверждённое в разных областях – от математике до тенниса – гласит, что никто не достигает выдающихся результатов без по крайней мере десяти лет подготовки (Hayes 1981). Моцарт начал писать симфонии в четыре года, но это не были моцартовские симфонии – потребовалось ещё 13 лет, чтобы Моцарт начал писать выдающиеся симфонии (Weisberg 1986). Мой собственный опыт с кривой обучения подкрепляет эту тревогу. Если нам нужны люди, которые могут сделать прогресс в Дружественном ИИ, то они должны начать тренировать сами себя, всё время, за годы до того, как они внезапно понадобятся.
Если завтра Фонд Билла и Мелинды Гейтс выделит сто миллионов долларов на изучение Дружественного ИИ, тогда тысячи учёных начнут переписывать свои предложения по грантам, чтобы они выглядели релевантными по отношению к Дружественному ИИ. Но они не будут искренне заинтересованы в проблеме – и этому свидетельство то, что они не проявляли любопытства к проблеме до того, как кто-то предложил им заплатить. Пока Универсальный ИИ немоден и Дружественный ИИ полностью за пределами поля зрения, мы можем предположить, что каждый говорящий об этой проблеме искренне заинтересован в ней. Если вы вбросите слишком много денег в проблему, область которой ещё не готова к решению, излишние деньги создадут скорее анти-науку, чем науку – беспорядочную кучу фальшивых решений.
Я не могу считать этот вывод хорошей новостью. Мы были бы в гораздо большей безопасности, если бы проблема Дружественного ИИ могла бы быть разрешена путём нагромождения людей и денег. Но на момент 2006 года я сильно сомневаюсь, что это годится – область Дружественного ИИ, и сама область ИИ, находится в слишком большом хаосе. Если кто-то заявляет, что мы не можем достичь прогресса в области Дружественного ИИ, что мы знаем слишком мало, нам следует спросить, как долго этот человек учился, чтобы придти к этому заключению. Кто может сказать, что именно наука не знает? Слишком много науки существует в природе, чтобы один человек мог её выучить. Кто может сказать, что мы не готовы к научной революции, опережая неожиданное? И если мы не можем продвинуться в Дружественном ИИ, потому что мы не готовы, это не означает, что нам не нужен Дружественный ИИ. Эти два утверждения вовсе не эквивалентны!
И если мы обнаружим, что не можем продвинуться в Дружественном ИИ, мы должны определить, как выйти из этой ситуации как можно скорее! Совершенно неочевидно, что раз мы не можем управлять риском, то он должен уйти.
И если скрытые таланты юных учёных будут заинтересованы в Дружественном ИИ по своему собственному выбору, тогда, я думаю, будет очень полезно с точки зрения человеческого вида, если они смогут подать на многолетний грант, чтобы изучать проблему с полной занятостью. Определённое финансирование Дружественного ИИ необходимо, чтобы это сработало – значительно большее финансирование, чем это имеется сейчас. Но я думаю, что на этих начальных стадиях Манхэттенский проект только бы увеличил долю шума в системе.
Заключение.
Однажды мне стало ясно, что современная цивилизация находится в нестабильном состоянии. Дж.Гуд предположил, что взрыв интеллекта описывает динамическую нестабильную систему, вроде ручки, точно сбалансированной, чтобы стоять на своём кончике. Если ручка стоит совершенно вертикально, она может оставаться в прямом положении, но если ручка отклоняется даже немного от вертикали, гравитация потянет её дальше в этом направлении, и процесс ускорится. Точно так же и более умные системы будут требовать всё меньше времени, чтобы сделать себя ещё умнее.
Мёртвая планета, безжизненно вращающаяся вокруг своей звезды, тоже стабильна. В отличие от интеллектуального взрыва, истребление не является динамическим аттрактором – есть большая разница между «почти исчезнуть» и «исчезнуть». Даже в этом случае, тотальное истребление стабильно.
Не должна ли наша цивилизация, в конце концов, придти в один из этих двух режимов? Логически, вышеприведённое рассуждение содержит проколы. Например, Ошибочное рассуждение в духе Гигантской Ватрушки: умы не бродят слепо между аттракторами, у них есть мотивы. Но даже если и так, то, я думаю, наша альтернатива состоит в том, что или стать умнее, или вымереть.
Природа не жестока, но равнодушна; эта нейтральность часто выглядит неотличимой от настоящей враждебности. Реальность бросает перед вами один выбор за другим, и когда вы сталкиваетесь с вызовом, с которым не можете справиться, вы испытываете последствия. Часто природа выдвигает грубо несправедливые требования, даже в тех тестах, где наказание за ошибку – смерть. Как мог средневековый крестьянин X века изобрести лекарство от туберкулёза? Природа не соизмеряет свои вызовы с вашими умениями, вашими ресурсами, или тем, сколько свободного времени у вас есть, чтобы обдумать проблему. И когда вы сталкиваетесь со смертельным вызовом, слишком сложным для вас, вы умираете. Может быть, неприятно об этом думать, но это было реальностью для людей в течение тысяч и тысяч лет. Тоже самое может случиться и со всем человеческим видом, если человеческий вид столкнётся с несправедливым вызовом.
Если бы человеческие существа не старели, и столетние имели бы такой же уровень смерти, как и 15-летиние, люди всё равно не были бы бессмертными. Мы будем продолжать существовать, пока нас поддерживает вероятность. Чтобы жить даже миллион лет в качестве не стареющего человека в мире, столь рискованном, как наш, вы должны каким-то образом свести свою годовую вероятность смерти почти к нулю. Вы не должны водить машину, не должны летать, вы не должны пересекать улицу, даже посмотрев в обе стороны, поскольку это всё ещё слишком большой риск. Даже если вы отбросите все мысли о развлечениях и бросите жить ради сохранения своей жизни, вы не сможете проложить миллионолетний курс без препятствий. Это будет не физически, а интеллектуально невозможно.
Человеческий вид Homo sapiens не стареет, но не бессмертен. Гоминиды прожили так долго только потому, что не было арсенала водородных бомб, не было космических кораблей, чтобы направлять астероиды к Земле, не было военных биолабораторий, чтобы создавать супервирусов, не было повторяющихся ежегодных перспектив атомной войны или нанотехнологической войны или отбившегося от рук ИИ. Чтобы прожить сколько-нибудь заметное время, мы должны свести каждый из этих рисков к нулю. «Довольно хорошо» – это недостаточно хорошо для того, чтобы прожить ещё миллион лет.
Это выглядит как несправедливый вызов. Этот вопрос обычно не был в компетенции исторических человеческих организаций, не зависимо от того, насколько они старались. В течение десятилетий США и СССР избегали ядерной войны, но не были в этом совершенны; были очень близкие к войне моменты, например, Кубинский ракетный кризис в 1962 году. Если мы предположим, что будущие умы будут являть ту же смесь глупости и мудрости, ту же смесь героизма и эгоизма, как те, о ком мы читаем в исторических книгах – тогда игра в глобальный риск практически закончена; она была проиграна с самого начала. Мы можем прожить ещё десятилетие, даже ещё столетие, но не следующие миллион лет.
Но человеческие умы – это не граница возможного. Homo sapiens представляет собой первый универсальный интеллект. Мы были рождены в самом начале вещей, на рассвете ума. В случае успеха, будущие историки будут оглядываться назад и описывать современный мир как труднопреодолимую промежуточную стадию юности, когда человечество стало достаточно смышлёным, чтобы создать себе страшные проблемы, но недостаточно смышлёным, чтобы их решить.
Но до того как мы пройдём эту стадию юности, мы должны, как юноши, встретится с взрослой проблемой: вызовом более умного, чем человек, интеллекта. Это – выход наружу на высоко-моральной стадии жизненного цикла; путь, слишком близкий к окну уязвимости; это, возможно, самый опасный однократный риск, с которым мы сталкиваемся. ИИ – это единственная дорога в этот вызов, и я надеюсь, что мы пройдём эту дорогу, продолжая разговор. Я думаю, что, в конце концов, окажется проще сделать 747-ой с нуля, чем растянуть в масштабе существующую птицу или пересадить ей реактивные двигатели.
Я не хочу преуменьшать колоссальную ответственность попыток построить, с точной целью и проектом, нечто, более умное, чем мы сами. Но давайте остановимся и вспомним, что интеллект – это далеко не первая вещь, встретившаяся человеческой науке, которая казалась трудна для понимания. Звёзды когда-то были загадкой, и химия, и биология. Поколения исследователей пытались и не смогли понять эти загадки, и они обрели имидж неразрешимых для простой науки. Когда-то давно, никто не понимал, почему одна материя инертна и безжизненна, тогда как другая пульсирует кровью и витальностью. Никто не знал, как живая материя размножает себя или почему наши руки слушаются наших ментальных приказов. Лорд Кельвин писал:
«Влияние животной или растительной жизни на материю находится бесконечно далеко за пределами любого научного исследования, направленного до настоящего времени на него. Его сила управлять перемещениями движущихся частиц, в ежедневно демонстрируемом чуде человеческой свободной воли и в росте поколений за поколением растений из одного семечка, бесконечно отличается от любого возможного результата случайной согласованности атомов». (Цитировано по (MacFie 1912).)
Любое научное игнорирование освящено древностью. Любое и каждое отсутствие знаний уходит в прошлое, к рассвету человеческой любознательности; и эта дыра длится целые эпохи, выглядя неизменной, до тех пор, пока кто-то не заполняет её. Я думаю, что даже склонные ошибаться человеческие существа способны достичь успеха в создании Дружественного ИИ. Но только если разум перестанет быть сакральной тайной для нас, как жизнь была для Лорда Кельвина. Интеллект должен перестать быть любым видом мистики, сакральным или нет. Мы должны выполнить создание Искусственного Интеллекта как точное приложение точного искусства. И тогда, возможно, мы победим.
Библиография.
1. Asimov, I. 1942. Runaround. Astounding Science Fiction, March 1942.
2. Barrett, J. L. and Keil, F. 1996. Conceptualizing a non-natural entity: Anthropomorphism in God concepts. Cognitive Psychology, 31: 219-247.
3. Bostrom, N. 1998. How long before superintelligence? Int. Jour. of Future Studies, 2.
4. Bostrom, N. 2001. Existential Risks: Analyzing Human Extinction Scenarios. Journal of Evolution and Technology, 9.
5. Brown, D.E. 1991. Human universals. New York: McGraw-Hill.
6. Crochat, P. and Franklin, D. (2000.) Back-Propagation Neural Network Tutorial. http://ieee.uow.edu.au/~daniel/software/libneural/
7. Deacon, T. 1997. The symbolic species: The co-evolution of language and the brain. New York: Norton.
8. Drexler, K. E. 1992. Nanosystems: Molecular Machinery, Manufacturing, and Computation. New York: Wiley-Interscience.
9. Ekman, P. and Keltner, D. 1997. Universal facial expressions of emotion: an old controversy and new findings. In Nonverbal communication: where nature meets culture, eds. U. Segerstrale and P. Molnar. Mahwah, NJ: Lawrence Erlbaum Associates.
10. Good, I. J. 1965. Speculations Concerning the First Ultraintelligent Machine. Pp. 31-88 in Advances in Computers, vol 6, eds. F. L. Alt and M. Rubinoff. New York: Academic Press.
11. Hayes, J. R. 1981. The complete problem solver. Philadelphia: Franklin Institute Press.
12. Hibbard, B. 2001. Super-intelligent machines. ACM SIGGRAPH Computer Graphics, 35(1).
13. Hibbard, B. 2004. Reinforcement learning as a Context for Integrating AI Research. Presented at the 2004 AAAI Fall Symposium on Achieving Human-Level Intelligence through Integrated Systems and Research.
14. Hofstadter, D. 1979. G;del, Escher, Bach: An Eternal Golden Braid. New York: Random House
15. Jaynes, E.T. and Bretthorst, G. L. 2003. Probability Theory: The Logic of Science. Cambridge: Cambridge University Press.
16. Jensen, A. R. 1999. The G Factor: the Science of Mental Ability. Psycoloquy, 10(23).
17. MacFie, R. C. 1912. Heredity, Evolution, and Vitalism: Some of the discoveries of modern research into these matters – their trend and significance. New York: William Wood and Company.
18. McCarthy, J., Minsky, M. L., Rochester, N. and Shannon, C. E. 1955. A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence.
19. Merkle, R. C. 1989. Large scale analysis of neural structure. Xerox PARC Technical Report CSL-89-10. November, 1989.
20. Merkle, R. C. and Drexler, K. E. 1996. Helical Logic. Nanotechnology, 7: 325-339.
21. Minsky, M. L. 1986. The Society of Mind. New York: Simon and Schuster.
22. Monod, J. L. 1974. On the Molecular Theory of Evolution. New York: Oxford.
23. Moravec, H. 1988. Mind Children: The Future of Robot and Human Intelligence. Cambridge: Harvard University Press.
24. Moravec, H. 1999. Robot: Mere Machine to Transcendent Mind. New York: Oxford University Press.
25. Raymond, E. S. ed. 2003. DWIM. The on-line hacker Jargon File, version 4.4.7, 29 Dec 2003.
26. Rhodes, R. 1986. The Making of the Atomic Bomb. New York: Simon & Schuster.
27. Rice, H. G. 1953. Classes of Recursively Enumerable Sets and Their Decision Problems. Trans. Amer. Math. Soc., 74: 358-366.
28. Russell, S. J. and Norvig, P. Artificial Intelligence: A Modern Approach. Pp. 962-964. New Jersey: Prentice Hall.
29. Sandberg, A. 1999. The Physics of Information Processing Superobjects: Daily Life Among the Jupiter Brains. Journal of Evolution and Technology, 5.
30. Schmidhuber, J. 2003. Goedel machines: self-referential universal problem solvers making provably optimal self-improvements. In Artificial General Intelligence, eds. B. Goertzel and C. Pennachin. Forthcoming. New York: Springer-Verlag.
31. Sober, E. 1984. The nature of selection. Cambridge, MA: MIT Press.
32. Tooby, J. and Cosmides, L. 1992. The psychological foundations of culture. In The adapted mind: Evolutionary psychology and the generation of culture, eds. J. H. Barkow, L. Cosmides and J. Tooby. New York: Oxford University Press.
33. Vinge, V. 1993. The Coming Technological Singularity. Presented at the VISION-21 Symposium, sponsored by NASA Lewis Research Center and the Ohio Aerospace Institute. March, 1993.
34. Wachowski, A. and Wachowski, L. 1999. The Matrix, USA, Warner Bros, 135 min.
35. Weisburg, R. 1986. Creativity, genius and other myths. New York: W.H Freeman.
36. Williams, G. C. 1966. Adaptation and Natural Selection: A critique of some current evolutionary thought. Princeton, NJ: Princeton University Press.
Н. Бостром