Общее понятие о предотвратимости глобальных рисков
Очевидно, что если мы выясним, что есть несколько простых, очевидных и надёжных способов противостоять глобальным катастрофам, то мы значительно улучшим свою безопасность, а ряд глобальных рисков перестанет нам угрожать. Наоборот, если окажется, что во всех предлагающихся мерах защиты есть изъяны, которые делают их в лучшем случае неэффективными, а в худшем – просто опасными, то нам необходимо придумать нечто кардинально новое. Как мы сейчас представляем, система защиты – на каждой фазе развития глобального риска – должна осуществлять следующие функции:
• Наблюдение.
• Анализа информации и принятия решения.
• Уничтожения источника угрозы.
Эта стратегия хорошо отработана в разведке, борьбе с терроризмом и военном деле. Другая стратегия предполагает бегство от источника угрозы (космические поселения, бункеры). Очевидно, эта вторая стратегия должна применяться в случае провала первой (или одновременно с ней на всякий случай).
Глобальные риски различаются по степени того, насколько возможно их предотвратить. Например, вполне реально запретить некий класс опасных экспериментов на ускорителях, если научное сообщество придёт к выводу, что эти эксперименты создают определённый риск. Поскольку в мире всего несколько больших ускорителей, которые управляются достаточно открыто, и потому что сами учёные не желают катастрофы и не имеют от неё никаких выгод, то кажется очень простым отменить эксперименты. Фактически, для этого нужно только общее понимание их опасности. То есть максимально предотвратимый риск – это тот риск, который:
1) Легко предвидеть,
2) Предвидение о котором легко достигает научного консенсуса.
3) Одного признания которого достаточно, чтобы отказаться от действий, ведущих к этому риску.
Последнее связанно с тем, что:
А) Опасные процессы создаются только людьми.
Б) Они открыто создаются в небольшом числе широко известных мест.
В) Люди не ждут никакой выгоды от этих процессов.
Г) Опасные процессы предсказуемы как по моменту своего возникновения, так и по ходу развития.
Д) Опасные объекты и процессы легко распознаваемы. То есть мы легко, быстро и наверняка узнаём, что началась некая опасная ситуация, и мы правильно оцениваем степень её опасности.
Е) У нас есть достаточно времени в силу специфики процесса, чтобы разработать и принять адекватные меры.
Соответственно, риски, которые трудно предотвращать, характеризуются тем, что:
1) Их трудно предвидеть, даже трудно предположить об их возможности. (Даже предположить, что в SETI есть риск, было трудно.)
2) Даже если кто-то осознаёт этот риск, ему крайне трудно убедить в этом кого-либо ещё (примеры: трудности с осознанием ИИ и SETI как источника риска, трудности доказательства Теоремы о конце света).
3) Даже если будет достигнуто общественное согласие о том, что это действительно опасно, это не приведёт к тому, что люди добровольно откажутся от данного источника риска. (Примеры: ядерное оружие.)
Последнее связано с тем, что:
1) Источники риска доступны большому числу людей, и что это за люди - неизвестно (можно поставить на учёт все физиков ядерщиков, но не хакеров-самоучек).
2) Источники риска находятся в неизвестном месте и/или их легко скрыть (биолаборатории).
3) Риски создаются независящими от человека природными факторами, или в результате взаимовлияния человеческих действий и природных факторов.
4) Источник опасности сулит не только риски, но и выгоды, в частности, является оружием.
5) Момент начала аварийной ситуации непредсказуем, равно как и то, как она будет развиваться.
6) Опасную ситуацию трудно опознать в качестве таковой, это требует много времени, и содержит элемент неопределённости. (Например, трудно определить, что некая новая бактерия является опасной, пока она кого-либо не заразит и пока эпидемия достаточно не распространится, чтобы понять, что это именно эпидемия.)
7) Опасный процесс развивается быстрее, чем мы можем на него адекватно реагировать.
Предотвратимость некоторых рисков, однако, не должна приводить к тому, что их следует сбрасывать со счёта, поскольку не обязательно означает, что риск, в конечном счёте, будет предотвращён. Например, астероидная опасность относится к числу относительно легко предотвратимых рисков, однако реальной противоастероидной (и, что важнее, противокометной – кометы идёт по более крутым орбитам, и часто появляются новые кометы) системы защиты у нас сейчас нет. И пока её нет, «предотвратимость» остаётся чисто гипотетической, поскольку мы не знаем, насколько эффективной и безопасной будет будущая защита, появится ли она вообще и когда.
Активные щиты
В качестве способа предотвращения глобальных рисков предлагается создавать разного рода активные щиты. Активный щит – это средство контроля и воздействие на источник риска по всему земному шару. Фактически, это аналог иммунной системы в масштабе всей планеты. В качестве наиболее очевидного примера можно привести идеи создания всемирной системы ПРО.
Активность щитов подразумевает, что они могут относительно автономно реагировать на любой раздражитель, который проходит под определение угрозы. При этом щит полностью покрывает защищаемую поверхность, то есть Землю. Понятно, что автономный щит опасен неконтролируемым поведением, а управляемый является абсолютным оружием в руках того, кто им управляет. Как нам известно из дискуссий о СОИ, даже если активный щит является полностью оборонительным оружием, он всё равно даёт преимущество в нападении для защищённой стороны, так как она может не опасаться возмездия.
Сравнение активных щитов с иммунной системой человека, как идеальной формой защиты, некорректно, потому что иммунная система неидеальна. Она обеспечивает статистическое выживание вида за счёт того, что отдельные особи живут в среднем достаточно долго, но она не обеспечивает неограниченное выживание отдельного индивида. Любой человек неоднократно заражается заразными болезнями в течение жизни, и многие от них гибнут. Для любого человека найдётся болезнь, которая его убьёт. Кроме того, иммунная система хорошо работает тогда, когда точно знает патоген. Если она его не знает, то потребуется время, чтобы он успел себя проявить, и ещё время, чтобы иммунная система выработала против него ответ. То же самое происходит и с компьютерными антивирусами, которые тоже являются активным щитом: хотя они обеспечивают устойчивое существование всех компьютеров, каждый отдельный компьютер время от времени всё равно заражается вирусом, и данные на нём теряются. Кроме того, антивирус не даёт защиты от принципиально нового вируса, пока не пришлют обновления, а за это время новый вирус успевает заразить определённое число компьютеров. Если бы речь шла о серой слизи, мы поняли бы, что это – серая слизь, только после того, как она значительно распространилась. Впрочем, есть иммунные системы, работающие по принципу: запрещено всё, что не разрешено, но их тоже можно обмануть, и они более склонны к автоиммунным реакциям.
Иначе говоря, иммунная система хороша, когда есть мощное дублирование основной системы. У нас пока нет возможности дублирования Земли, а космические поселения столкнуться с рядом принципиальных трудностей (см. главу о них). Кроме того, у всех иммунных систем бывают ложные срабатывания, которые проявляются в автоиммунных заболеваниях – как, например, аллергия и диабет – которые оказывают значительный вклад в человеческую смертность, сравнимый по порядку величины с вкладом рака и инфекционных заболеваний. Если иммунная система слишком жёсткая, она порождает автоиммунные заболевания, а если слишком мягкая – то пропускает некоторые опасности. Поскольку иммунная система покрывает весь защищаемый объект, то выход её из строя создаёт угрозу всему объекту (здесь действует принцип распространение фактора опаснее разрушения). Террористическая атака на иммунную систему делает всю систему беззащитной – так работает СПИД, который только тем сильнее распространяется, чем сильнее с ним иммунная система борется, поскольку он находится внутри неё.
Соответственно, широко обсуждаются идеи БиоЩита и НаноЩита. Эти щиты подразумевают распыление по всей поверхности Земли тысяч триллионов контролирующих устройств, способных оперативно проверять любые агенты на опасность и оперативно уничтожать опасные. Также к щитам относится дальнейшее ужесточение контроля в Интернете и всемирное развешивание следящих видеокамер. Однако уже на примере всемирной ПРО видны существенные проблемы любых щитов.
1. Они мучительно отстают от источника угрозы по времени разработки.
2. Они должны действовать сразу на всей территории Земли без исключений. Чем точечнее угроза, тем плотнее должен быть щит.
3. Они уже сейчас вызывают серьёзные политические разногласия. Поскольку, если щит покрывает не всю поверхность Земли, то он может создавать ситуацию стратегической нестабильности, как, например, национальные системы ПРО порождают соблазн ударить первыми – и страх этого у тех, у кого их нет.
4. Любой щит создаётся на основе ещё более продвинутых технологий, которые могут создавать угрозы своего уровня.
5. Щит может быть источником глобального риска сам по себе, если у него начнётся некая «автоиммунная реакция», то есть он начнёт уничтожать то, что должен был защищать. Или если управление щитом будет потеряно, и он начнёт защищаться от своих хозяев.
6. Щит не может быть абсолютно надёжен – то есть успех его срабатывание носит вероятностный характер. И тогда, в случае постоянной глобальной угрозы вопрос его пробивания – это только вопрос времени.
7. Щит должен иметь централизованное управление, но при этом автономность на местах для быстрого реагирования.
Например, антиастероидный щит создаст много новых проблем безопасности человечества. Во-первых, он даст технологию точного управления астероидами, которая за счёт малых воздействий может направить на Землю огромную массу, причём тайно, в духе криптовойны. Во-вторых, сам такой щит может быть использован для атаки по Земле. Например, если на высокой орбите будет висеть 50 штук гигатонных бомб, готовых по команде устремиться в любую точку Солнечной системы, я не буду чувствовать в большей безопасности. В-третьих, движение всех астероидов за миллиарды лет хорошо синхронизировалось, и любое нарушение этого равновесия может привести к тому, что этот же астероид станет постоянной угрозой, регулярно проходя рядом с Землёй. Особенно это будет опасно, если человечество после такого вмешательства откатится на предтехнологический уровень.
Обратим внимание на то, что каждая опасная технология может быть средством собственного предотвращения:
• Ракеты сбиваются с помощью ракет ПРО.
• По местам производства ядерного оружия наносятся ядерные удары.
• ИИ контролирует весь мир, чтобы нигде не создали неправильный ИИ.
• Биодатчики не дают распространиться биологическому оружию.
• Нанощит защищает от нанороботов.
Часто щиты делают нечто ровно противоположное тому, ради чего они создавались. Например, есть мнение (доклад Беллоны, глава IV.1. «Три «трещины» ДНЯО» ), что договор о нераспространении ядерного оружия плохо справляется с чёрным рынком, но хорошо справляется с распространением мирного атома (то есть строительствам во всех странах, которые этого хотят, исследовательских ядерных реакторов), который фактически оказывается технологией двойного назначения. Прочные двери, которые защищают кабины самолётов после терактов 11 сентября, не дадут проникнуть террористам в кабину, но если они там всё-таки окажутся (например, в силу того, что сам пилот – террорист), то пассажиры и стюарды не смогут им помешать. Если есть система управления полётом с Земли, то появляется шанс захватить самолёт, используя эту систему, по радио.
Наконец, все щиты предлагаются в предположении, что у нас есть некая идеальная система, которая наблюдает и контролирует другую, несовершенную. Например, неподкупная милиция управляет несовершенным обществом. Если же мы милиция коррумпирована, то отдел собственной безопасности её контролирует, и так далее. Очевидно, что идеальных систем не бывает, поскольку и система контроля, и контролируемый объект сделаны из одного теста. Можно представить себе многоуровневую иерархическую систему щитов, но тут есть риск раскола между разными контролирующими системами. Наконец, у любого щита есть слепое пятно – он не может контролировать собственный центр управления.
Действующие и будущие щиты
Здесь я привожу краткий, но насколько возможно полный список щитов, которые уже есть или могут появиться в будущем.
1) Всемирная система ПРО. Страдает от политических и технологических проблем, готова только в зачаточной стадии.
2) МАГАТЭ. Работает, но со сбоями. Упустила несколько военных ядерных программ.
3) Всемирная борьба с наркотиками. Находится в равновесии со своей проблемой – сдерживает в некоторой степени, но не более.
4) Оруэлловский контроль. Система контроля за каждым человеком с помощью видеокамер, чипов идентификации, слежения за Интернетом, перехвата телефонных разговоров. Технически достижима, развёрнута только на несколько процентов от того, что могло бы быть, однако активно развивается. Проблемы с легитимностью, интернациональностью, слепыми зонами, хакерами. Теоретически может стать основой для всех других систем контроля, так как, возможно, достаточно предотвратить злонамеренное поведение людей, чтобы не появлялось опасных био, нано и ИИ устройств. Далее мы обсудим недостатки этой системы подробнее.
5) Mind-контроль. Эта система подразумевает вживление в мозг неких контролирующих чипов. Это может быть не так сложно, как кажется, если мы найдём группы клеток, на которые проецируется внутренний диалог и эмоциональные состояния. Чем-то вроде этого сейчас является детектор лжи. Такая штука решит проблему даже спонтанных преступлений, вроде внезапной агрессии. С другой стороны, потенциал злоупотребления такой технологией – неограничен. Если с помощью такой системы можно будет управлять людьми, то достаточно одной неверной команды, чтобы убить всё человечество. Наконец, она не даст абсолютной защиты, так как её можно взломать, а так же, потому что некоторые катастрофы происходят не по злому умыслу, а от недомыслия.
6) Антиастероидная защита. Ведётся наблюдение, но недостаточное, средства перехвата официально не разрабатываются. (Но зонд Deep Impact использовался для столкновения с астероидом.)
7) БиоЩит. Действует на уровне разведки и международных соглашений по контролю. Есть рекомендации по безопасной разработке биотехнололгий.
8) НаноЩит. В стадии предварительного обсуждения. Есть рекомендации по безопасной разработке.
9) ИИ-щит. Защита от создания враждебного ИИ. В SIAI ведётся обсуждение проблем безопасного целеполагания для сильного ИИ, то есть проблемы его Дружественности. Есть рекомендации по безопасной разработке.
10) Обычная полиция и службы безопасности.
Можно также охаректиризовать последовательность срабатывания щитов в случае развития опасной ситуации.
Первый уровень состоит в поддержании мира в осознанном, миролюбивом, уравновешенном состоянии и в подготовке к работе на всех остальных уровнях. На этом уровне важны открытые дискуссии, сбор средств, пропаганда, образование и инвестиции.
Второй состоит в непосредственном контроле над людьми и опасными системами с тем, чтобы ситуации глобального риска вообще не могли возникнуть. На этом уровне действует МАГАТЭ, оруэлловский контроль и т. д.
Третий – в подавлении возникшей опасности с помощью ракет, антинаноробтов и т д. Это уровень систем ПРО.
Четвёртый – в эвакуации с Земли или закупоривании в бункеры (однако принцип предосторожности предполагает, что следовало бы начать это делать даже одновременно с первым пунктом).
Сохранение мирового баланса
Эрик Дрекслер описывает проблему следующим образом: «В поиске серединного пути, мы могли бы пытаться найти баланс сил, основанный на балансе технологий. Это, по-видимому, расширило бы ситуацию, которая сохраняла определенную меру мирного сосуществования на протяжении четырех десятилетий. Но ключевое слово здесь – "по-видимому": грядущие прорывы будут слишком стремительными и дестабилизирующими, чтобы старый баланс мог продолжать существование. В прошлом страна могла испытывать технологическое отставание на несколько лет и все же поддерживать приблизительный военный баланс. Однако, со стремительными репликаторами и продвинутым ИИ, задержка на единственный день могла бы быть фатальной» . То есть чем быстрее развиваются технологии, тем меньше шансов, что они будут находиться в равновесии. Сознательное нарушение баланса тоже опасно: попытка одной из стран явным образом уйти в отрыв по военным сверхтехнологиям может спровоцировать её врагов на агрессию по принципу «атака при угрозе потери преимущества».
Система контроля
Любая защита от глобального риска опирается на некую систему контроля. Чем опаснее риск и чем в большем числе мест он может возникнуть, тем тотальнее и эффективнее должна быть система контроля. Примером современной системы контроля является МАГАТЭ. Щиты также могут быть системой контроля, или содержать её в себе как часть. С другой стороны, щиты могут действовать локально и автономно, как иммунная система, а система контроля предполагает сбор данных в единый центр.
Окончательным вариантом этого было бы оруэлловское государство, где из каждого угла торчало бы по видеокамере, или чипы были бы установлены в мозг каждого человека, не говоря уже о компьютерах. Увы, в отношении видеонаблюдения это уже почти реализованный вариант. А в домах это можно реализовать технически в любой момент – везде, где есть постоянный интернет и компьютеры. Вопрос скорее не в наблюдении, а в передаче и, особенно, анализе этих данных. Без помощи ИИ нам трудно проверить всю эту информацию. Привлекательными выглядят системы взаимной подотчётности и гражданской бдительности, продвигаемые как альтернатива тоталитарному государству в борьбе с терроризмом, где за счёт абсолютной прозрачности каждый может контролировать каждого, но в отношении их возможности пока много неясного. Проблемы:
• Чтобы быть эффективной, такая система контроля должна охватывать весь Земной шар без исключения. Это невозможно без некой формы единой власти.
• Любую систему контроля можно обмануть – поэтому по-настоящему эффективная система контроля должна быть многократно избыточна.
• Мало наблюдать всё, необходимо всю эту информацию анализировать в реальном времени, что невозможно без ИИ или тоталитарного государственного аппарата. Кроме того, эта верхушка не сможет контролировать сама себя, то есть понадобится система обратной её подотчётности или народу, или «службе внутренней безопасности».
• Такая система будет противоречить представлениям о демократии и свободе, которые сформировались в ХХ веке, и вызовет ожесточённое сопротивление вплоть до терроризма. Такая система тотального контроля вызовет соблазн применять её не только против глобальных рисков, но и против любого рода «правонарушений», вплоть до случаев употребления неполиткорректной речи и прослушивания нелицензионной музыки.
• Те, кто контролируют, должны иметь полное и ясное представление обо всех глобальных рисках. Если это будут только биологические риски, но не создание ИИ и опасные физические эксперименты, то система будет неполноценна. Очень трудно отличить опасные биологические эксперименты от безопасных – во всех случаях используются ДНК секвенсоры и опыты на мышах. И без чтения мыслей учёного не поймёшь, что он задумал. А от случайных опасных экспериментов эта система не защищает.
• Поскольку такая система будет уже «доставлена» в любую точку земного шара, она может упростить действие любого оружия, поражающего каждого человека. Иначе говоря, захват власти над системой тотального контроля даст власть над всеми людьми и упростит задачу сделать с ними всё, что угодно, в том числе и нанести им вред. Например, можно разослать по почте некое лекарство и проконтролировать, чтобы все его приняли. Тех, кто отказался, арестовать.
Выводы: система тотального контроля кажется наиболее очевидным средством противостояния глобальным рискам. Однако она содержит ряд подводных камней, которые могут превратить её саму в фактор глобального риска. Кроме того, система тотального контроля подразумевает тоталитарное государство, которое, будучи снабжённым средствами производства в виде роботов, утратит потребность в людях как таковых.
Сознательная остановка технологического прогресса
Часто выдвигаются предложения об отказе от технического прогресса или в насильственной форме, или путём взывания к совести учёных, с целью предотвращения глобальных рисков. Есть разные варианты попыток осуществления это остановки, и все они или не работают, или содержат подводные камни:
1. Личный отказ от разработки новых технологий – практически ни на что не влияет. Всегда найдутся другие, которые это сделают.
2. Агитация, просвещение, социальные действия или терроризм как способы убедить других людей отказаться от развития опасных технологий. Никогда не работало. Как пишет Юдковски: любая стратегия, которая предполагает единодушное поведение всех людей, обречена на провал.
3. Отказ на определённой территории, например, одной страны – но это не мешает остальным странам продолжать, то есть эффективность нулевая.
4. Всемирное соглашение. На примере МАГАТЭ мы знаем, как плохо это работает.
5. Завоевание всего мира силой, которая сможет регулировать развитие технологий. Но в процессе этого завоевания велики шансы применения оружия судного дня теми ядерными державами, которые в результате утратят суверенитет. Кроме того, словами Дрекслера: «Далее, победившая сила была бы сама главной технологической силой с огромной военной мощью и демонстрирующейся готовностью ее использовать. Можно ли в этом случае доверять такой силе, чтобы она подавила собственный прогресс?» («Машины созидания».)
Средства превентивного удара
Мало иметь систему тотального контроля, нужно обладать возможностью предотвратить риск. Сейчас обычно в качестве крайней меры рассматривается удар ракетно-ядерными силами по точке источника риска.
Здесь наблюдается любопытное противоречие с программой строительства бункеров для выживания – если такие бункера будут секретны и неуязвимы, то их будет трудно уничтожить. Более того, они должны содержать в себе полностью оборудованные лаборатории и учёных на случай катастрофы. Поэтому возможна ситуация, когда «сверхоружие» будет создаваться в таком бункере (например, в СССР создавались подземные ядерные заводы для продолжения производства ядерного оружия в случае затяжной ядерной войны.) Люди, которые уже находятся в неуязвимом бункере, могут быть более психологически склонны к созданию сверхоружия для удара по поверхности. Следовательно, либо бункеры будут представлять угрозу человеческому выживанию, либо средства превентивного удара уничтожат все бункеры, которые могли бы использоваться для сохранения после некой катастрофы.
Однако удар по точке в пространстве не действует ни против системного кризиса, ни против некой информационной угрозы. Компьютерный вирус не вылечишь ядерным ударом. То же касается привязанности людей к сверхнаркотику. Далее, удар возможен, пока некий риск не вышел из точки. Если рецепт супервируса утёк в интернет, обратно его не выловишь. Уже сейчас современная военная машина бессильна против сетевых угроз, вроде террористических сетей, дающих метастазы по всей планете. Точно также в будущем компьютерный вирус будет не просто информационной угрозой данным на диске: он может заставлять фабрики по всему миру производить свои материальные копии, а через них снова уходить в сеть.
Наконец, сам удар (или даже его возможность) создаёт ситуацию стратегической нестабильности. Например, сейчас удар баллистической ракетой с обычной боеголовкой по террористам может вызвать срабатывание системы о ракетном предупреждении вероятного противника и привести к войне.
Наконец, удар требует определённого времени. Это время должно быть меньше времени от обнаружения развития угрозы до времени ожидаемого её созревания. Сейчас время от обнаружения до удара по любой точке Земли меньше 2 часов, и может быть уменьшено до минут с помощью спутникового оружия. (Однако время принятия решения больше.) Если бы от момента принятия решения о написании кода опасного вируса до его запуска проходило бы только 15 минут, то этой скорости было бы недостаточно. И этой скорости очевидно недостаточно, если в неком месте началось распыление опасных нанороботов по воздуху.
Ситуация принципиально изменится после основания космических колоний (даже чисто робототехнических – там тоже может произойти сбой, который превратит колонию в «раковую» – то есть склонную к неограниченному саморазмножению и распространению «токсинов»: опасных нанороботов, сверхбомб и прочего; а именно освоение космоса с помощью саморазмножающихся роботов, использующих местные материалы, наиболее перспективно). За время, пока сигнал об опасности пройдёт, скажем, от спутника Юпитера до Земли, и затем от Земли туда прилетит «флот» (скажем, ракеты с ядерными боеголовками и боевыми нанороботами) наводить порядок (жечь всё подряд), будет уже поздно. Конечно, можно держать «флот» на орбите каждого спутника, где есть способные к саморазмножению колонии, но что если мятеж произойдёт именно на самом флоте? Тогда нужен флот, который контролирует другие флоты, и плавает между спутниками. А затем ещё один межпланетный флот для контроля над ними. Короче, ситуация не выглядит стратегически стабильной, так как, как известно, «у семи нянек дитя без глазу» ¬– то есть выше определённого уровня системы контроля начинают мешать друг другу. Возможно, неспособность контролировать удалённые колонии приводит к тому, что цивилизациям выгодно замыкаться на материнской планете – вот ещё одно решение парадокса Ферми.
Удаление источников рисков на значительное расстояние от Земли
Есть предложение все опасные физические эксперименты проводить «за орбитой Плутона». Проблемы такого подхода:
• Если мы получим в руки технические средства создавать мощные экспериментальные установки далеко от Земли, мы также будем иметь возможности быстро доставлять их результаты обратно.
• Это не сможет остановить некоторых людей от аналогичных опытов на Земле, особенно если они просты.
• Это не защитит нас от создания опасного сильного ИИ, так как он может распространяться информационно.
• Даже за орбитой Плутона возможны опасные эксперименты, которые повлияют на Землю.
• Трудно заранее знать, какие именно эксперименты надо проводить «за орбитой Плутона».
• Нет технических возможностей доставить огромное оборудование за орбиту Плутона в течение ближайших десятков лет, тем более не используя опасные технологии в виде самовоспроизводящихся роботов.
Выживание на природе, создание отдалённых поселений
Это вряд ли поможет в случае действительно глобальной катастрофы, поскольку она должна затронуть всю поверхность Земли (если это некий неразумный агент), или обнаружить всех людей (если это разумный агент). Удалённое поселение уязвимо и к первому, и ко второму – если только это не вооружённая секретная база, но тогда это проходит, скорее, под графой «бункеры».
Если речь идёт о выживании после просто очень большой катастрофы, то следует вспомнить опыт продразвёрстки и колхозов в России, да и вообще любое феодальное общество – город силой властвует над деревней и отбирает у неё излишки. В случае системного кризиса главную опасность будут представлять другие люди. Недаром в фантастическом романе «Метро 2033» главное монетой является патрон от автомата Калашникова. И до тех пор, пока патронов будет больше, чем крестьян, будет выгоднее грабить, а не выращивать. Возможно также полное растворение в природе в духе Маугли. Однако маловероятно, что так удастся пережить что-либо серьёзное.
Создание досье на глобальные риски и рост общественного понимания
Публикация книг и статей на тему глобальных рисков приводит к росту осознания проблемы в обществе и составлению более точного списка глобальных рисков. Междисциплинарный подход позволяет сравнивать разные риски и учитывать возможность их сложного взаимодействия. Сложности:
• Не понятно, к кому именно адресованы любые такого рода тексты.
• Террористы, страны изгои и регулярные армии могут воспользоваться идеями о создании глобальных рисков из опубликованных текстов, что приведёт к увеличению рисков в большей мере, чем к их предотвращению.
• Неправильное и преждевременное вложение капитала может привести к разочарованию в борьбе с рисками – как раз тогда, когда она на самом деле понадобится.
Убежища и бункеры
Разного рода убежища и бункеры могут увеличить шансы выживания человечества в случае глобальной катастрофы, однако ситуация с ними не проста. Отдельные автономные убежища могут существовать десятки лет, но чем они автономнее и долговременнее, тем больше усилий нужно на их подготовку заранее. Убежища должны обеспечивать способность человечества к дальнейшему самовоспроизводству. Следовательно, они должны содержать не только достаточное количество способных к размножению людей, но и запас технологий, который позволит выжить и размножаться на территории, которую планируется обживать после выхода из убежища. Чем сложнее будет загрязнена эта территория, тем больший уровень технологий потребуется для надёжного выживания. (В легенде о Ноевом ковчеге это был запас «каждой твари по паре».)
Очень большой бункер окажется способным продолжать внутри себя развитие технологий и после катастрофы. Однако в этом случае он будет уязвим к тем же рискам, что и вся земная цивилизация – в нём могут появиться свои внутренние террористы, ИИ, нанороботы, утечки и т д. Если бункер не будет способен сам продолжать развитие технологий, то он, скорее, обречён на деградацию.
Далее, бункер может быть или «цивилизационным», то есть сохранять большинство культурных и технологических достижений цивилизации, или «видовым», то есть сохранять только человеческую жизнь. Перед длительными бункерами встанет проблема образования и воспитания детей и риски деградации. Бункер может или жить за счёт ресурсов, накопленных перед катастрофой, или заниматься собственным производством, тогда это будет просто подземная цивилизация на заражённой планете.
Чем в большей мере бункер автономен культурно и технически, тем больше там должно жить людей (исходя из современных технологий – бункер на основе продвинутых нанотехнологий может быть даже вовсе безлюдным, – только с замороженными яйцеклетками). Чтобы обеспечить простое воспроизводство посредством обучения основным человеческим профессиям, требуются тысячи людей. Эти люди должны быть отобраны и находиться в бункере до наступления окончательной катастрофы, желательно, на постоянной основе. Однако маловероятно, чтобы тысячи интеллектуально и физически превосходных людей захотели бы сидеть в бункере на всякий случай. В этом случае они могут находиться в бункере в две или три смены и получать за это зарплату. (Сейчас проводится эксперимент Марс 500, в котором 6 человек будут находиться в полностью автономном – по воде, еде, воздуху – пространстве 500 дней. Вероятно, это наилучший результат, который мы сейчас имеем.)
Бункер может быть или единственным, или одним из многих. В первом случае он уязвим к разным случайностям, а во втором возможна борьба между разными бункерами за оставшиеся снаружи ресурсы. Или возможно продолжение войны, если катастрофа возникла в результате войны. Бункер, скорее всего, будет или подземным, или морским, или космическим. При этом космический бункер тоже может быть заглублён в грунт астероидов или Луны. Для космического бункера будет труднее пользоваться остатками ресурсов на Земле. Бункер может быть полностью изолированным, или позволять «экскурсии» во внешнюю враждебную среду.
Примером морского бункера является атомная подводная лодка, обладающая высокой скрытностью, автономностью, маневренностью и устойчивостью к негативным воздействиям. Кроме того, она может легко охлаждаться в океане (проблема охлаждения подземных замкнутых бункеров не проста), добывать из него воду, кислород и даже пищу. Кроме того, уже есть готовые лодки и технические решения. Лодка способна выдержать ударное и радиационное воздействие. Однако ресурс автономного плавания современных подводных лодок составляет в лучшем случае год, и в них нет места для хранения запасов.
Современная космическая станция МКС могла бы продержать несколько человек порядка года, хотя встают проблемы автономной посадки и адаптации. Не понятно, может ли некий опасный агент, способный проникнуть во все щели на Земле, рассеяться за столь короткий срок.
Есть разница между газо- и био- убежищами, которые могут быть на поверхности, но разделены на много секций на предмет карантина, и убежищами, которые нацелены на укрытие от мало-мальски разумного противника (в том числе от других людей, которым не досталось место в убежище). В случае биоопасности острова с жёстким карантином могут выступать в качестве убежища, если болезнь не переносится по воздуху.
Бункер может обладать разными уязвимостями: например, в случае биологической угрозы, достаточно ничтожного проникновения. Полностью автономным может быть только высокотехнологичный бункер. Бункеру нужна энергия и кислород. Это может дать система на ядерном реакторе, но современные машины вряд ли могут обладать долговечностью более 30-50 лет. Бункер не может быть универсальным – он должен предполагать защиты от определённых, известных заранее видов угроз – радиационной, биологической и т д.
Чем укреплённее бункер, тем меньшее число бункеров оставит человечество от себя и тем труднее такой бункер будет скрыть. Если после некой катастрофы осталось конечное число бункеров, местоположение которых известно, то вторичная ядерная война может покончить с человечеством через конечное число ударов по известным местам.
Чем крупнее бункер, тем меньше таких бункеров построит человечество. Однако любой бункер уязвим к случайному разрушению или заражению. Поэтому конечное число бункеров с определённой вероятностью заражения однозначно определяет максимальное время выживания человечества. Если бункеры связаны между собой торговлей и прочим материальным обменом, то тем вероятнее распространение некой заразы между ними. Если бункеры не связаны, то они будут деградировать быстрее. Чем мощнее и дороже бункер, тем труднее его создать незаметно для вероятного противника и тем скорее он станет целью атаки. Чем дешевле бункер, тем менее он долговечен.
Возможны случайные бункеры – люди, уцелевшие в метро, шахтах, подводных лодках. Они будут страдать от отсутствия центральной власти и борьбы за ресурсы. Люди, истощившие ресурсы в одном бункере, могут предпринимать вооружённые попытки прорваться в другой соседний бункер. Также люди, уцелевшие случайно (или под угрозой нависшей катастрофы), могут атаковать тех, кто заперся в бункере.
Бункеры буду страдать от необходимости обмена теплом, энергией, водой и воздухом с внешним миром. Чем автономнее бункер, тем меньше он может просуществовать в полной изоляции. Находящиеся глубоко в земле бункеры будут страдать от перегрева. Любые ядерные реакторы и прочие сложные машины будут требовать внешнего охлаждения. Охлаждение внешней водой будет демаскировывать их, а иметь источники энергии без потерь в виде тепла невозможно, тем более, что на глубине и так всегда высокая температура. Рост температуры по мере заглубления под землю ограничивает предельную глубину залегания бункеров. (Геотермический градиент в среднем составляет 30 градусов/километр. Это означает, что бункеры на глубине больше 1 километра невозможны – или требуют гигантских охлаждающих установок на поверхности, как золотые шахты в ЮАР. Могут быть более глубокие бункеры во льдах Антарктиды.)
Чем долговечнее, универсальнее и эффективнее бункер, тем в большей мере заранее его надо начать строить. Но в этом случае трудно предугадать будущие риски. Например, в 1930-е годы построили много противогазовых бомбоубежищ, которые оказались бесполезны и уязвимы к бомбардировкам тяжёлыми бомбами.
Чем эффективнее бункер, который может создать цивилизация, тем на более высоком технологическом уровне она находится и тем большими средствами уничтожения обладает – а значит, тем более мощный бункер её нужен. Чем автономнее и совершеннее бункер (например, оснащённый ИИ, нанороботами и биотехнологиями), тем легче он может, в конце концов, обойтись без людей, создав чисто компьютерный цивилизацию.
Бункеры будут соревноваться за то, кто первым выйдет на поверхность, и кто, соответственно, будет ею владеть – поэтому у них будет искушение осваивать ещё заражённые участки земли.
Возможны автоматические робототизированные бункеры: в них человеческие эмбрионы хранятся в неких искусственных матках и через сотни или тысячи лет запускаются. Их можно отправить в путешествие к другим планетам. Однако, если такие бункеры будут возможны, то Земля вряд ли останется пустой – скорее всего она будет заселена роботами. Кроме того, если человеческий детёныш, воспитанный волками, считает себя волком, то кем будет считать себя человек, воспитанный роботами?
Культурные примеры: Ноев ковчег, Зион в «Матрице», крепость во время чумы у Э.По в «Маске Красной смерти», бункер в «Терминаторе», FallOut (серия компьютерных игр), роман "Метро 2033".
Выводы: идея о выживании в бункерах содержит много подводных камней, которые снижают ей полезность и вероятность успеха. Длительные бункеры надо строить многие годы, но они могут устареть за это время, так как ситуация изменится и неизвестно к чему готовится. Возможно, что есть ряд мощных бункеров, которые были построены в годы холодной войны. Но чем мощнее бункер, тем вероятнее, что в нём разместят оружие возмездия, и тем вероятнее, что он станет целью в ходе войны. Прямо сейчас у нас, вероятно, есть бункеры, в которых люди могут автономно просидеть год (а может быть и несколько лет в ядерных в военных объектах). Пределом современных технических возможностей видится бункер порядка 30-летней автономии, однако его надо строить лет десять, и это потребует миллиардов долларов инвестиций.
Особняком стоят информационные бункеры, которые предназначены, чтобы донести до возможных уцелевших потомком наши знания, технология и достижения. Например, в Норвегии, на Шпицбергене создали запас образцов семян зерновых с этими целями. Возможны варианты с сохранением генетического разнообразия людей с помощью замороженной спермы. Обсуждаются устойчивые к длительному хранению цифровые носители, например, компакт-диски, на которых вытравлен текст, который можно прочесть через лупу. Эти знания могут быть критически важными, чтобы не повторить наших ошибок.
Опережающее расселение в космосе
Есть предположение, что человечество уцелеет, если разделится на части, которые будут быстро заселять космос по отдельности. Например, известный физик С. Хокинг агитирует за создание запасной Земли, чтобы избежать рисков, угрожающих планете . При опережающем расселении ни одно воздействие, осуществлённое в одном месте, не сможет догнать всё человечество. Увы, нет никаких технологических предпосылок для ускоренного расселения человечества по космосу: мы имеем весьма смутные представления о том, как создать звездолёты и, вероятно, не сможем построить их без помощи ИИ и робототизированного производства. А значит, человечество сможет начать заселять космос только после того, как преодолеет все риски, связанные с ИИ и нанотехнологиями, и поэтому космические поселения не могут служить защитой от этих рисков. Кроме того, космические поселения в ближайшем космосе, в пределах Солнечной системы, будут крайне зависимы от земных поставок и уязвимы для обычной ракетной атаки. Даже если человечество начнёт убегать от Земли с околосветовой скоростью на сверхбыстрых звездолётах, это всё равно не обезопасит его. Во-первых, потому что информация всё равно распространяется быстрее, со скоростью света, и если возникнет враждебный ИИ, то он может проникнуть по компьютерным сетям даже в быстро удаляющийся звездолёт. Во-вторых, как бы ни был быстр звездолёт, его может догнать более лёгкий, быстрый и совершенный (поскольку он будет создан позже) беспилотный аппарат. Наконец, любой звездолёт увозит с собой все земные сверхтехнологии и все человеческие недостатки и связанные с ними проблемы.
Всё как-нибудь обойдётся
Эта позиция по предотвращению глобальных рисков основывается на вере во врождённую устойчивость систем и на концепции решения проблем по мере их поступления. Она содержит в себе несколько явных и неявных допущений и логических ошибок, в духе «авось, пронесёт». Более продвинутой формой этой позиции является идея о решении проблем по мере их поступления. Собственно, этой позиции и придерживаются правительства разных стран, которые решают проблемы только после того, как они стали очевидны. Если сформулировать эту позицию в духе военной доктрины США, она будет звучать так: Анализируя и предотвращая все риски по мере их поступления, мы создадим систему контроля каждого конкретного риска, дающую качественное и количественное преобладание над каждым источником риска на каждой фазе его существования.
Однако в современной технологической ситуации мы не можем рассматривать риски «по мере их поступления», поскольку мы не знаем, где искать, и поскольку риски могут стать актуальными быстрее, чем мы успеем их обдумать и приготовиться к ним. Именно поэтому я стараюсь расширить горизонт прогноза, рассматривая гипотетические и вероятные технологии, которые ещё не созданы, но вполне могут быть созданы, исходя из текущих тенденций.
Другой вариант – картина будущего, называемая «устойчивое развитие» (sustainable development). Однако это не прогноз, а проект. Он основывается на предположении, что технологии достаточно разовьются, чтобы помочь нам преодолеть энергетический и прочие кризисы, но всё же при этом технологии не породят новых невероятных и рискованных возможностей. Вероятность такого расклада невелика.
Деградация в устойчивое состояние
Некоторые надеются, что риски глобальных катастроф рассосутся сами собой, когда человечество, из-за нехватки ресурсов или предыдущих катастроф деградирует в, например, феодальное общество. Такая деградация сопряжена с трудностями, потому что пока не разворованы все запасы, оставшиеся от цивилизации, и не израсходовано всё оружие, нет никакой выгоды заниматься примитивным сельским хозяйством – гораздо проще грабить соседей. Конкуренция между уцелевшими феодальными обществами неизбежно приведёт к новому росту оружия и технологий, как бы это идеологически ни подавлялось, и через несколько сотен лет цивилизация вернётся на современный уровень, а значит, воскресит и все свои проблемы. Или наоборот, деградирует к ещё более примитивным формам и вымрет. Средневековье не устойчиво. Поэтому возвращение в средневековье даст только отсрочку, но не окончательное решение.
Предотвращение одной катастрофы с помощью другой
Теоретически возможны следующие примеры взаимной нейтрализации опасных технологий и катастроф:
1.Ядерная война останавливает развитие технологий вообще.
2.Тотальный ИИ предотвращает биотерроризм.
3.Биотерроризм делает невозможным развитие ИИ
4.Ядерная зима предотвращает глобальное потепление.
Суть в том, что крупная катастрофа делает невозможной глобальную, отбрасывая человечество на несколько эволюционных ступеней назад. Это возможно в том случае, если мы входим в длительный период высокой вероятности крупных катастроф, однако малой вероятности глобальных катастроф. В некотором смысле со второй половине ХХ века мы находимся в этом периоде – однако это не помешало нам успешно приблизится к тому моменту, когда до создания многих средств глобального всеобщего уничтожения остались, возможно, десятки лет.
Было бы в каком-то смысле «приятно» доказать теорему, что глобальная катастрофа невозможна, потому что к ней не дадут приблизиться очень крупные катастрофы. Однако эта теорема носит только вероятностный характер, так как некоторые опасные сверхтехнологии могут появиться в любой момент, особенно ИИ. Кроме того, любая большая авария (но меньше отбрасывающей назад катастрофы) повышает осознанность людей в отношении рисков. Хотя здесь есть определённая предвзятость в отношении того, что ожидается повторение точно такого же риска.
Организации, ответственные за предотвращение катастрофы
Определённо, мы не знаем, кто именно должен заниматься предотвращением глобальных катастроф. Хуже того, вероятно есть много организаций и частных лиц, готовых этим заняться – ведь кто против того, чтобы стать спасителем мира? (Однако ещё пару лет назад в мире не было ни одного человека, который бы работал именно над темой предотвращения глобальной катастрофы как междисциплинарной проблемой и получал бы за это зарплату. Сейчас есть сотрудник в институте «Будущее человечества» Ника Бострома, есть гранты фонда Lifeboat foundation, есть исследования Е.Юдковски. Я сам потратил почти год чистого времени на перевод и написание материалов по глобальным катастрофам.) Перечислим разные «функциональные жанры» организаций, которые могли бы отвечать за предотвращение рисков глобальной катастрофы.
1) «ООН». Главы мировых правительств вместе решают, как справиться с рисками. Так сейчас борются с потеплением. Проблемы: все договориться не могут. В результате принимаются самое слабое и компромиссное решение. Государства не готовы отдать свою власть в ООН.
2) «Мировое правительство». Проблемы: его нет. Невозможного его установление без войны, которая сама по себе глобальный риск. Оно не может быть нейтральным. С точки зрения многих групп оно будет выразителем интересов других групп. Оно будет или слабым, или тоталитарным. Тоталитарное правительство породит Сопротивление, борьба с этим Сопротивлением чревата огромными терактами и создаёт новые глобальные риски.
3) «ЦРУ» – спецслужбы тайно противостоят глобальным рискам. Так борются с террористами. Проблемы: секретность ведёт к утрате информации. Конкуренция спецслужб. Путаница национальных и общечеловеческих интересов – так как спецслужбы служат своему государству, а не людям вообще.
4) «Масоны» или «джедаи». Некая тайная частная организация ставит себе целью облагодетельствовать всё человечество. Однако промежуточный этап – это создание своего, возможно, тайного, мирового правительства. Проблемы: конкуренция спасателей (так как таких тайных организаций может быть много, а методы и картины мира у всех у них разные), необходимость перехода к пункту «мировое правительство». Неприятие заговоров в обществе и противодействием им со стороны спецслужб. Смешение личных и общих целей. Даже Бен Ладен думает, что именно его «всемирный халифат» будет спасением человечества от механистичного и эгоистичного Запада. Частные группы по созданию сильного ИИ также могут понимать, что получат в свои руки абсолютное оружие, и иметь планы по его применению для захвата власти над миром. В любом случае, тайное общество очень часто подразумевает наличие планируемой стадии «мятежа» – явного или неявного установления власти и влияния на весь мир, путём проникновения или прямого захвата. И, разумеется, здесь оно сталкивается с конкуренцией других таких обществ, а также противодействием общества и спецслужб.
5) Открытая дискуссия в обществе. Самоорганизация ответственных граждан. То, что называется по-английски Reciprocal accountability – взаимная подотчётность, когда действия контролирующих служб доступны контролю тех, кого они контролируют. Проблемы – власть общества не велика. И должен быть некий орган, на который эти дискуссии воздействуют. Кроме того, поскольку даже небольшая группа людей способна тайно создать угрозу существованию, то просто слежения за соседями недостаточно. В настоящий момент уже формируется сеть открытых общественных организаций, изучающих проблемы глобальных рисков и финансирующих исследования по их предотвращению – это Lifeboat Foundation, Центр по ответственным Нанотехнологиям, Альянс по спасению цивилизации, SIAI. Эти организации обмениваются ссылками, ресурсами и сотрудниками. С другой стороны, практические влияние разных благотворительных фондов на общество крайне мало. Гораздо больше средств и внимания получают фонды, которые занимаются менее значительными проблемами, чем спасение человечества. В России благотворительные фонды скомпрометированы подозрениями в связях или с мафией, или с иностранной разведкой. Наилучшим примером воздействия общества на правителей является чтение правителями книг. Президент Кеннеди избежал войны в ходе Карибского кризиса, в значительной мере потому что увлекался в этот момент книгой Барбары Такман «Август 1914» о начале Первой Мировой войны, где показано, как война началась вопреки воле и интересам сторон. Исследования К.Сагана и Н.Моисеева о ядерной зиме подтолкнули, возможно, СССР и США к разоружению. Будущие президенты в любом случае формируются в некой культурной среде и несут наверх почерпнутые в ней идеи. Изменение среднего уровня понимания, создание информационного фона вполне может приводить к тому, что правители косвенно впитают некие идеи. Ведь не из воздуха возникла сейчас программа по нанотехнологиям в России! Кто-то где-то о них прочитал и подумал.
6) Не мешать системе самой по себе самонастроиться. Возможно, что борьба между разными «спасителями мира» окажется хуже, чем полное бездействие. Однако такую стратегию реализовать невозможно, так как она требует единодушного согласия – чего никогда не бывает. Всегда найдётся несколько спасителей мира, и им придётся выяснять, кто среди них главный.
Вопрос даже не в том, чтобы возникла организация, которая может и хочет предотвращать глобальные риски, а в том, чтобы общество целиком делегировало ей такие полномочия, что кажется гораздо менее вероятным. Позитивным примером является то, что человечество проявило способность объединяться перед лицом явной и понятной опасности в разного рода антифашистские и антитеррористические коалиции и достаточно эффективно действовать, пока цель являлась общей и понятной.
Проблема моделирования сценариев глобальной катастрофы
К настоящему моменту наше описание элементов возможной глобальной катастрофы достигло такого уровня сложности, что оно превосходит способности человеческого разума к представлению, и необходимо сказанное проинтегрировать. Сделаем мы это с помощью описания нескольких воображаемых сценариев глобальной катастрофы. Смысл этих сценариев не в том, чтобы дать конкретный прогноз, а в том, чтобы дать срез пространства возможностей, то есть проиллюстрировать его устройство. При этом вспомним слова Бора, сказанные в героический период становления физики в начале XX века: «Это теория недостаточно безумна, чтобы быть верной». Иначе говоря, то, что некоторые сценарии выглядят фантастическими, не делает их невозможными. Рассмотрим эти сценарии также не как попытки предсказать будущее, а как пробные шары, с помощью которых мы исследуем саму свою способность создавать и оценивать сценарии. Отметим, что данное перечисление не есть попытка составить полный список, который был бы многократно длиннее. Часть этих сценариев откровенно фантастические. Пусть они будут попыткой исследовать наши границы восприятия в отношении реального и невероятного.
1. Мировой финансовый кризис, распад мира на враждующие сегменты, ускорение гонки вооружений, широкое распространение ядерного оружия и биологического оружия, война всех против всех, деградация в сторону постапокалиптического мира, в котором на каждом этапе деградации остается достаточно оружия от предыдущего этапа, чтобы перейти к следующему. Время действия 2010-2030 годы.
2. Создание универсальной биологической машины и её широкое распространение. Это как личный биопринтер плюс набор программ для него по созданию любых живых существ. В результате – резкий, очень быстрый взрыв биохакрества, отравление всей окружающей среды поедающими всё бактериями и заражение большей части людей смертельными болезнями. Ядерная война как попытка стерилизовать окрестности. Опять же постапокалиптический мир с неограниченной способностью к деградации – даже более сильной, чем в предыдущем варианте, так как более опасное оружие создано и может производиться последними оставшимися людьми. Время действия 2010-2030 годы.
3. Внезапная ядерная война, постапокалиптический мир, затем нарастание глобального потепления и превращение Земли в «Венеру». ХХI- XXII век.
4. Внезапное возникновение мощного самоусиливающегося ИИ – что перебивает любой из предыдущих сценариев. Время действия 2007-2040. Этот ИИ приходит к выводу об изначальной ущербности живой клетки и заменяет их на нанороботов. Каждый человек подключён к источнику неограниченного блаженства и больше не приходит в сознание.
5. Начинается мировая война или противостояние, и враждующие стороны вбрасывают на территорию противника лаборатории по производству сверхнаркотика. Благодаря этим лабораториям биотехнологии распространяются по всему миру. В последнем усилии остановить биологическую атаку, мировые правительства бросают огромные усилия на разработку систем ИИ. Эти системы достигают зрелости почти одновременно в нескольких странах и вступают в ожесточённую схватку между собой за право нести благо человечеству. В результате выживает только несколько человек, которых победивший ИИ держит на лунной станции в искусственном парке, всячески о них заботясь. 2010-2050 гг.
6. На Земле побеждает ИИ и благодаря своему уму распространяет информацию о себе во все стороны по Вселенной. Он открывает межзвёздные перелёты и сталкивается там с конкуренцией гораздо более зрелого ИИ, давным-давно созданного другой цивилизацией. Этот более зрелый ИИ истребляет наш ИИ и человечество. 2020-2100 гг.
7. Распространение биотехнологий запускает эпидемии супервирусов, которые приводят к тому, что большинство стран решают создать единую систему контроля «Старшая сестра», однако некоторые страны не согласны, и их приходится уничтожить. В результате последовавшей ядерной и биологической войны население Земли значительно сократилось, биосфера серьёзно повреждена, но «Старшая сестра» создана. Поскольку ей всё время угрожают мятежи людей, она постепенно ограничивает активность людей, одновременно плавно увеличивая свои способности. В конечном счёте, она становится полноценным самосовершенствующимся ИИ.
8. Аль-Каеда провоцирует крах западной цивилизации и устанавливает всемирный халифат. Уцелевшие учёные создают сверхбомбы и подрывают весь мир, чтобы он «не достался террористам».
9. Удаётся наладить дешёвое и эффективное производство микророботов. Последовавшая война загоняет уцелевших людей в бункеры. Однако война продолжается, и бункеры разных стран уничтожают друг друга ядерными ударами.
10. Компьютерный вирус поражает всю уцелевшую в мире технику и заставляет её атаковать людей. Из страха оставшиеся люди уничтожают всю оставшуюся технику. Уцелевшие люди живут племенами, но все они заражены СПИДом и ещё несколькими медленными болезнями, а вся среда загрязнена. Тем временем крысы мутируют и становятся хищными, умными и агрессивными. Люди вымирают, а крысы завладевают Землёй. Однако они неспособны к абстрактному мышлению и не могут создавать новую технику. Через миллионы лет они вымирают от падения астероида.
11. Падение небольшого астероида вызовет случайную ядерную войну, которая станет войной всех против всех. Уцелевшие люди вымрут, когда вслед за тем прилетит больший астероид и спровоцирует извержение супервулкана.
12. Некая страна разрабатывает опасные нанотехнологии, и на неё совершается превентивное нападение, но никаких следов опасных нанотехнологий не находят. Поэтому борьбу с глобальными рисками объявляют опасной ересью. Затем, наконец, опасные нанотехнологии появляются и применяются.
13. Несколько всеядных бактерий вырываются в окружающую среду и делают её непригодной для производства пищи и обитания. Люди прячутся в бункеры, но постепенно деградируют там.
14. Тоталитарное мировое правительство вводит всем людям вирус счастья, чтобы они любили Бога и радовались жизни. Затем происходит революция, и новое правительство решает даровать людям свободу, вводя всем вирус свободы. Тем временем террористы выпускаю боевых нанороботов, и приходится создать всемирную наноиммунную систему. Однако некто проникает в центр управления этой наноиммунной системой и запускает в ней автоиммунную реакцию, в результате чего она начинает бороться сама с собой. Только немногие люди выживают – однако все они обречены стать дебилами в ближайшие годы из-за ошибки в конструкции вируса свободы.
15. Человечество распадается на обычных людей и сверхлюдей, усиленных с помощью новых технологий. Эти сверхлюди борются с обычными людьми и вообще их за людей не считают. В результате обычные люди полностью истребляются, и остаётся несколько сверхлюдей, которые по разным причинам вымирают.
16. В результате экспериментов с холодными нейтронами большое их количество попадает в центр Земли, и они запускают цепную реакцию в находящемся там уране. Происходит сильнейшее увеличение вулканической активности, и технологическая цивилизация терпит крах. Уцелевшие люди живут на станции на Луне, но постепенно вымирают.
17. Люди создают доступ от мозга к компьютеру, и вскоре большинство человеческих мозгов оказывается заражено вирусами, троянами и рекламными программами. Другая часть людей уходит в виртуальное пространство навсегда. Начинается борьба этих двух классов людей. При этом настоящие люди находятся внутри компьютеров, а в биологических телах находятся в основном вирусы и трояны. Группа учёных делает открытие о квантовой природе сознания и создаёт универсальный доступ к любым сознаниям. Через него перетекают враждебные сознания из параллельного мира. Человеческая идентичность полностью утрачена.
18. Некая страна создаёт оружие судного дня, и вскоре все остальные страны создают его во множестве. Группа террористов провоцирует его применение.
19. Группа стран одной расы производит этническое оружие, которое уничтожает людей с другим цветом кожи. Но несколько человек встают на защиту цветных и производят аналогичное оружие для белых. Поскольку планета оказывается полностью заражена, приходится выпустить новую бактерию, которая дезинфицирует биосферу. Однако всеобщее недоверие приводит к тому, что одновременно создаётся несколько биощитов, которые вступают между собой в конфликт. Их битва разрушает всё живое. Уцелевшие люди вступают в некую секту, агитирующую за добровольное уничтожение человечества, которое натворило столько зла. Они взрывают атомные бомбы во всех бункерах, число которых конечно и местоположение известно.
20. Некая страна придумала добывать энергию из магмы и просверлила глубокий канал подземлю. В результате образовался неконтролируемый вулкан и другие страны объявляют ей войну, чтобы она прекратила опыты. В качестве ответной меры первая страна создаёт ещё более глубокий канал подземлю. Происходит катастрофическая дегазации земного ядра и жидкость из центра Земли поступает на поверхность. Жизнь на Земле полностью уничтожена.
При рассмотрении каждого предложенного сценария видно, что он в чём-то излишне фантастичен и похож на сюжет для романа, а в чём-то неполон – просто потому что есть много вещей и возможностей, о которых он не говорит. На одной планете может разворачиваться сразу несколько таких сценариев. Опять же возможна нелинейная интерференция между ними. В начале такие сценарии могут развиваться независимо, но затем, когда они выйдут на простор, то непременно пересекутся друг с другом. Следующий дефект этих сценариев – что они написаны от имени кого-то, кто уже знает начало и конец, и точно понимает, что происходит. Тогда как в начале любой последовательности событий мы не знаем, чем она закончится, более того, наше неверное понимание часто играет ключевую роль в выборе неверных решений. Наконец, пока человечество не вымерло, нельзя утверждать, что некий сценарий был необратимым, а после вымирания – некому будет это утверждать. Далее, не все процессы происходят явно – об одних говорят на каждой странице газеты, другие становятся понятны только потом или в момент своего проявления. Например, мы каждый день слышим о глобальном потеплении, но перед 11 сентября нам никто не писал «террористы уже подошли к самолёту». Поэтому мы можем находиться внутри какого-то сценария, понятия об этом не имея. Соответственно, и одна террористическая группа не знает, что задумала другая.
С другой стороны – если бы мы точно знали, что сейчас происходит именно сценарий номер Х, нам бы, наверное, не составило труда его предотвратить. Поэтому главным фактором сценария возможной будущей глобальной катастрофы будет состояние «замешательства» – которое будет проявляться в интеллектуальном разброде о причинах процесса и способах его преодоления и приведёт к конфликтам между сторонниками разных способов. А любой такой конфликт равноценен перестрелке в пороховом погребе.
Способности одного человека придумать сценарий возможной глобальной катастрофы принципиально ограничены объёмом мозга и привычными сюжетными конструкциями. Эффективным способом моделирования сценариев являются штабные или ролевые игры. Например, несколько лет назад ряд ведущих фантастов (Переслегин, Латынина, Лукьяненко и др.) играли в штабную игру в МЧС на тему возможности аварии в электрических сетях Москвы по мотивам аварии в Нью-Йорке. И получили результат, похожий на то, что потом случилось на самом деле в Москве в 2005 году. В США Юдковски отыгрывал различные модели поведения Недружественного ИИ на модели ролевых игр GURPS. Наконец, в будущем нам помогут в этом моделировании сами системы ИИ.
Глобальные катастрофы и границы науки.
Глобальная катастрофа относится к категории невидимых и непроверяемых вещей и потому попадает в ту область, которая обычно определяется верой. Здесь она сталкивается с другими объектами веры. А у каждой религии своя эсхатология. Тем не менее, людям свойственно прибегать даже к «антинаучным» методам борьбы, когда речь идёт о спасении жизни. Можно вспомнить, что при Сталине Москву трижды облетел самолёт с иконой Казанской Божей Матери, чтобы защитить её от наступления немцев, о множестве ритуалов при запуске ракет на Байконуре и т. д. Вера в неизбежность и позитивность конца света была раньше свойственна христианству, хотя сейчас вряд ли эту идею принимают буквально. Любые идеи о том, что мы уже обладаем бессмертием, радикально меняют смысл и ценность представлений о глобальной катастрофе. Люди в эпоху средневековья жили с ожиданием Конца света, и он был для них освобождением. Когда есть бессмертие, то катастрофа перестаёт быть всеобщей – она касается только некой части мира, и потому может даже приветствоваться.
Особняком по отношении к проблеме глобальных рисков стоят несколько дисциплин, которые стараются придать себе статус научности, однако в целом отвергаются научным сообществом. Принцип предосторожности заставляет нас принять их во внимание. Поскольку, как мы уже говорили, любое новое открытие меняет картину глобальных рисков, и, скорее всего, в сторону усугубления.
1. Уфология. Основной вопрос уфологии состоит в том, стоит ли за хоть какими-нибудь наблюдаемыми на небе непонятными явлениями что-то, что требует некого принципиально нового научного объяснения. Или же все такие явления связаны с ошибочным восприятием, галлюцинациями, мистификациями и случайными совпадениями, а также редкими, но не требующими изменения картины мира физическими явлениями, такими, как спрайты и прочие формы сложных электрических разрядов. Принципиально новое в уфологии не обязательно означало бы, что НЛО – это космические корабли пришельцев. Есть много других предположений: что это плазменные формы жизни, путешественники во времени или из параллельных миров, жители подводной цивилизации и т. д. (См. короткую статью Жака Вале «Пять аргументов против внеземного происхождения НЛО ».) Из того, что многие небесные явления удаётся объяснить естественными причинами, не следует, что нам когда-нибудь удастся объяснить все такие события.
В любом случае, если будет открыто, что за НЛО стоит нечто принципиально новое, это ухудшит наши шансы на выживание. Отметим, что именно так к НЛО относились военные – как к непредсказуемому источнику риска до того, как будет доказано, что это только атмосферные явления. Во-первых, если за НЛО не стоит разума, а просто набор неких новых физических эффектов, это даст нам некое новое пространство, по которому можно перемещаться, размножаться в нём и воздействовать из него на Землю. Соответственно, это даст новые способы создания оружия судного дня. Во-вторых, даже если НЛО – это корабли пришельцев, то трудно ожидать от них, что они начнут спасать земную цивилизацию – ведь раньше они не предотвращали мировые войны. Однако столкновение с превосходящим разумом всегда гибельно для более слабого – и чревато вымиранием или культурным растворением. Вспомним австралийских аборигенов или индейцев.
2. Парапсихология. Парапсихология также борется за то, что бы наукой и доказать, что предмет её исследования существует. В целом, то, что она предсказывает, гораздо менее фантастично, чем свойства квантовой сопряжённости, которыми обладают элементарные частицы. Поэтому наилучшие попытки научного обоснования парапсихологических явлений, таких как телепатия и предвидение, основаны на теориях о квантовой природе сознания. Представим себе, что парапсихология достигла своих целей и нашла способ легко демонстрировать и применять на практике такие способности, как телепатия и предвидение. (Один из наиболее интересных проектов на эту тему - Remote viewing Инго Свана – развивался в 80-е годы в США при ЦРУ, потом был выведен за штат и широко опубликован в Сети. Возможно, отказ от него был связан с тем, что были найдены более эффективные техники удалённого восприятия – а может, с тем, что они были признаны бесполезными.) Здесь возможны два варианта. Первый состоит в том, что некие простые парапсихологические явления получили бы научное подтверждение и стали широко применяться на практике. Второй вариант состоит в том, что сделанные открытия будут настолько масштабны, что полностью изменят нашу картину мира.
На первый взгляд, способность читать мысли всех людей и предчувствовать будущие катастрофы была бы крайне полезна в борьбе с террористами и прочими рисками. Однако здесь мы опять видим средство мгновенного воздействия на всех людей, и также среду для саморазмножающихся объектов – то есть базовые инструменты для создания нового оружия судного дня. Следовательно, открытие телепатии не сделает наш мир безопаснее, так как создаст новое пространство для борьбы «щита и меча» с непредсказуемыми последствиями. Предвидение также может создать ситуацию стратегической нестабильности, по типу самосбывающихся пророчеств. Пример такой нестабильности показан в фильме «Особое мнение», где способность предсказывать намерения другого государства приводит к войне. Особенно, если оно тоже бы обладало предсказателями – тогда бы возникала положительная обратная связь. С предсказаниями возникает также проблема петель обратных связей в духе «вернуться в прошлое и убить своего дедушку», смысл которых в том, что или предсказание неизбежно, или это не предсказание.
Более глубокими следствиями открытий в области парапсихологии было бы радикально изменение картины мира. Такое изменение состояло бы в том, что роль субъекта в мироздании значительно повышалась бы, а роль объективного мира снижалась. Нет нужды говорить, что такого рода открытия тесно смыкались бы с предсказаниями различных религиозных учений. Возможно, что в этом случае проблема гибели человечества сильно трансформировалась бы, так как изменилось бы само содержание терминов «гибель» и «человечество». Однако даже если бы мы «открыли Господа Бога», это не обещало бы нам «спасения человечества» в его нынешнем виде, поскольку, как уже говорилось, во многих религиях предусмотрен – и приветствуется – апокалипсис.
Одним из популярных способов борьбы за спасение мира являются коллективные групповые медитации, которые организуются в определённое время по всему земному шару. Никакой очевидной пользы или вреда от этого зафиксировано не было.
Интересной формой изменения картины мира мог бы быть последовательный солипсизм, то есть представление о том, что только я-сейчас реально существую, а мир – это некая форма отражения моего сознания. Многие учения в стиле New Age неявно разделяют эту картину миру, утверждая, что «все ваши желания сбываются», «вселенная слышит вас». Тогда способом сохранения мира было бы пребывание в позитивном устойчивом состоянии, которое бы отражалось во вне. Однако, поскольку у каждого бывают приступы ненависти к себе и другим, то, если бы эта система работала в точности, мир бы, даже и субъективный, погиб бы ещё раньше. Если же предположить, что есть некий разумный фильтр моих желаний, то мы возвращаемся к картине мира с Богом, где окончательное решение о разрушении и создании мира остается за ним, но поскольку Бог находится за пределами мира, то это не является ни окончательной катастрофой, ни глобальной. Однако, возможно, что ситуация гораздо сложнее, чем позволяет себе представить человеческая теология, и таким образом разрешаются все противоречия.
3. Альтернативные физические теории. Всегда есть огромное количество ниспровергателей Эйнштейна, однако даже в рамках вполне общепринятой физики, развиваемой профессиональными теоретиками, достаточно теорий, который могут существенно изменить наш взгляд на мир в вопросе глобальных катастроф. Во-первых, это разные теории, которые предсказывают новые пространства, в которых могут развиваться риски, новые физические эффекты, обещающие новые виды оружия, а также описывающие разные альтернативные сценарии природных катастроф. Затем есть ряд теорий, которые предполагают полную смену картины мира. Часто разные альтернативщики стараются привлечь к себе внимание, показывая, как открытые ими новые эффекты могу привести к разным катастрофам. И хотя большинство людей правильно распознают такие заявления как саморекламу, возможно, надо уделять им чуть больше внимания, так как в одном случае на тысячу за ними может быть своя правда.
Бесконечность Вселенной и вопрос об окончательности человеческого вымирания.
Вполне материалистическим является предположение о бесконечности Вселенной. И если это так, то можно ожидать, что в ней возникают все возможные миры. Из этого следует, что даже в случае человеческого вымирания, когда-нибудь где-нибудь возникнет мир, почти не отличающийся от Земли, и в нём возникнут существа с тем же генетическим кодом, как у людей. Из этого следует, что люди вообще никогда не могут исчезнуть из Вселенной, как не может исчезнуть из неё число 137. Среди физических теорий, предполагающих множественность миров, следует выделить концепцию Мультверса Эверетта, а также ряд других теорий (например, космологическую хаотическую инфляцию). Подробнее о философских приложениях теории космологической инфляции см. статью Олума, Виленкина и Кноба «Философские последствия инфляционной космологии»
Более сильным следствием из этих теорий является предположение о том, что реализуются все возможные варианты будущего. В этом случае окончательная глобальная катастрофа становится невозможным событием, так как всегда найдётся мир, в котором она не произошла. Впервые это отметил сам Эверетт, придя к выводу, что Мультиверс (то есть актуальная реальность всех возможных квантовых альтернатив) означает личное бессмертие для человека, поскольку, от какой бы он причины ни погиб, всегда найдётся вариант вселенной, в котором он не погиб в этот момент. Известный физик М. Тегмарк проиллюстрировал эту идею мысленным экспериментом о квантовом самоубийстве . Затем эту идею развил Дж. Хигго в статье «Означает ли бессмертие многомирная интерпретация квантовой механики» . Я тоже исследовал этот вопрос – см. мои комментарии к переводу статьи Хигго – и обнаружил, что истинность теории о Мультверсе не является необходимым условием для истинности теории о бессмертии, связанном с множественностью миров. Для её истинности достаточно только бесконечности вселенной. То есть она работает и для неквантовых конечных автоматов: то есть для любого конечного существа в бесконечной вселенной найдётся точно такое же существо, которое пройдёт точно такой же жизненный путь, за исключением того, что не умрёт в последний момент. Но это вовсе не означает прекрасного и приятного бессмертия, поскольку альтернативой смерти будет тяжёлое ранение.
Точно такое же рассуждение можно применить и ко всей цивилизации. Однако это не значит, что нам гарантировано процветание. Иначе говоря, если доказать неуничтожимость наблюдателя, то из этого следует, что должна существовать некая поддерживающая его цивилизация, однако для этого достаточно одного бункера со всем необходимым, а не процветающего человечества.
Предположения о том, что мы живём в «Матрице».
Научный анализ этой проблемы заложен Ником Бостромом в его статье «Рассуждение о симуляции». Многие религиозные концепции можно сделать наукообразными, введя предположение, что мы живём в симулированном мире, возможно, созданном внутри сверхкомпьютера силами некой сверхцивилизации. Опровергнуть то, что мы живём в матрице, невозможно, но это можно было бы доказать, если бы в нашем мире появились некие невероятные чудеса, несовместимые с какими бы то ни было физическими законами (например, в небе бы возникла надпись из сверхновых звёзд).
Однако есть концепция, что может произойти глобальная катастрофа, если хозяева этой симуляции внезапно её выключат (Бостром). Можно показать, что в этом случае вступают в действие аргументы, описанные в статье Дж. Хигго о многомирном бессмертии. А именно, то, что мы живём в Матрице, вероятно только в том случае, если множество возможных симуляций очень велико. Это делает вероятным существование значительного количества совершенно одинаковых симуляций. Уничтожение одной из копий никак не влияет на ход самой симуляции, так же, как сожжение одного из экземпляров романа «Война и мир» не влияет на отношение персонажей. (При этом никакие аргументы о душе, непрерывности сознания и других некопируемых факторах не работают, так как обычно предполагается, что «самосознание» в симуляции вообще невозможно.)
Следовательно, никакой угрозы полное выключение симуляции не представляет. Однако если мы всё же живём в симуляции, то хозяева симуляции могут подкинуть нам некую маловероятную природную проблему, просто чтобы просчитать наше поведение в условиях кризиса. Например, изучить, как цивилизации ведут себя в случае извержения сверхвулканов. (А любая сверхцивилизация будет заинтересована в просчитывании разных вариантов своего предыдущего развития, например, чтобы оценить частоту распространённости цивилизаций во Вселенной.) При этом можно предположить, что крайние узловые события будут чаще становиться объектами моделирования, особенно моменты, когда развитие могло полностью прекратиться, то есть глобальные риски. (А мы как раз живём в районе такого события, что, по байесовой логике, повышает вероятность гипотезы о том, что мы живём в симуляции.) Иначе говоря, в симуляциях гораздо чаще будут встречаться ситуации глобального риска. (Точно также в кино гораздо чаще показывают взрывы, чем мы видим их в реальности.) А значит, это увеличивает наши шансы столкнуться с ситуацией, близкой к глобальной катастрофе. При этом, поскольку сама глобальная катастрофа в мире симуляций невозможна, ибо всегда найдутся симуляции, где «главные герои не умирают», то здесь наиболее вероятным сценарием будет выживание горстки людей после очень большой катастрофы. К вопросу о рассуждении о симуляции Бострома мы ещё вернёмся далее.
Глобальные катастрофы и устройство общества
Если глобальная катастрофа случилась, то она уничтожит любое общество, поэтому устройство общества имеет значение только на той фазе, когда речь идёт о предотвращении глобальных катастроф. Какое общество лучше всего способно предотвращать глобальные катастрофы:
1. Это общество, которое имеет один и только один центр управления, обладающий полнотой власти и высоким авторитетом. Однако при этом должна быть некая обратная связь, не позволяющая ему превратиться в самодостаточную и эгоистичную диктатуру. При этом оно должно обладать такой саморегуляцией, чтобы в нём не могло возникать, а в случае возникновения, сразу бы обнаруживалось любое опасное поведение или явление. (Примером такого общества могла бы быть сплочённая команда корабля.)
2. Это общество, которое нацелено на выживание в длительной исторической перспективе.
3. Подавляющее большинство людей должно осознавать и принимать цели и устройство этого общества, то есть иметь «высокий моральный уровень».
4. Это общество, руководимое людьми, достаточно мудрыми, чтобы правильно учитывать риски, которые могут возникнуть через годы и десятилетия. Соответственно, в этом обществе люди получают целостное образование, дающее фундаментальное и широкое, но не поверхностное видение мира.
5. Это общество, в котором максимально уменьшено число конфликтов, участники которых могут захотеть использовать оружие судного дня.
6. Это общество, могущее осуществлять достаточно жёсткий контроль деятельности всех групп лиц, которые могут создавать глобальные риски. Однако этот контроль не должен сам, неким образом, превращаться в инструмент создания риска.
7. Это общество должно быть готово быстро и эффективно принять достаточные меры против любого глобального риска.
8. Это общество должно вкладывать значительные ресурсы в создание разного рода бункеров, космических поселений и т. д. Фактически, это общество должно рассматривать своё выживание как главную задачу на некий период времени.
9. Это общество должно осознано создавать новые технологии в правильном порядке в специально отведённых местах. Оно должно быть готово отказаться даже от очень интересных технологий, если неспособно точно контролировать или хотя бы измерить их риск.
10. Это общество должно возникнуть без мировой войны, так как риск в процессе её перевесит пользу от такого общества.
При этом я не обсуждаю это общество в терминах «демократическое», «рыночное», «коммунистическое», «тоталитарное» и др. – я полагаю, что эти термины применимы к обществу ХХ века, но не XXI века. Очевидно, что современное общество крайне далеко от всех этих параметров способного к выживанию общества:
1. На Земле нет единого общепризнанного авторитетного центра власти, но есть много желающих за него побороться. Обратная связь в виде выборов и свободы слова слишком эфемерна, чтобы реально влиять на решения.
2. Большинство людей действует в своих личных интересах или интересах своих групп, даже если речь идёт на словах об общечеловеческих интересах. Людей очень много, и есть процент тех, кто не против или даже стремится к тотальному разрушению. Также внутри общества распространяются конкурирующие мемы, которые взаимоисключают друг друга: разного рода национализм, исламизм, антиглобализм, цинизм. (Под цинизмом я имею в виду довольно распространенную сумму убеждений: всё – говно, деньги правят миром, всё делаю для себя, чудес не бывает, будущее не имеет значения, «пипл хавает».)
3. Современное общество в значительно большей степени настроено на получение благ в краткосрочной перспективе, чем на выживание в долгосрочной.
4. Исходя из действий руководителей стран, трудно поверить, что это именно те люди, которые нацелены на долговременное выживание всего мира. Более того, это происходит потому, что нет ясной и общепринятой картины рисков, а точнее – та, что есть, не полна и затмевает более важные риски (а именно, это картина, где астероиды плюс потепление суть главные риски – однако даже после признания этих рисков в отношении них делается недостаточно). Хотя есть значительное число людей, которые могут и хотят дать ясное понимание о рисках, уровень информационного шума таков, что услышать их невозможно.
5. В современном обществе очень много опасных конфликтов в связи с большим количеством стран, партий и религиозно-экстремистских групп. Трудно даже их всех посчитать.
6. Даже очень высокий контроль в одних странах бессмыслен, пока есть территории, недоступные контролю. Пока существуют суверенные государства, полный общий контроль невозможен. Однако в тех случаях, когда контроль появляется, он тут же начинает использоваться не только для борьбы с глобальными рисками, но и для личных целей тех групп, которые контроль осуществляют – или, во всяком случае, такое впечатление создаётся (война в Ираке).
7. Пока общество разделено на отдельные вооружённые государства, быстрое принятие мер по локализации угрозы невозможно (согласования) или чревато развязыванием ядерной войны.
8. После эпохи холодной войны строительство бункеров относительно заглохло.
9. Современное общество не осознаёт выживание как свою главную цель, а те, кто об этом говорят, выглядят маргиналами.
10. Современные технологии развиваются стихийно. Нет ясного представления о том, кто, где, какие и зачем технологии развивает – даже относительно легко обнаружимых ядерных производств.
11. Хотя процесс договорного объединения идёт в Европе, остальная часть мира пока не готова мирно объединиться. (Однако, если где-то случится крупная, но не окончательная катастрофы, то возможно объединение в духе «антитеррористической коалиции».)
Важно также подчеркнуть, что классическое тоталитарное общество не является панацеей от глобальных катастроф. Действительно, тоталитарное общество может быстро мобилизовать ресурсы и пойти на значительные потери для достижения цели. Однако основная проблема такого общества – это информационная непрозрачность, которая уменьшает степень готовности и ясности понимания происходящих событий. Примеры: ошибка Сталина с оценкой вероятности начала войны. Или слепота древнего Китая в отношении военных перспектив пороха и информационных технологий – компаса и бумаги, которые там были изобретены.
Глобальные катастрофы и текущая ситуация в мире
С одной стороны, может показаться, что всё вращение политической жизни в современном мире происходит относительно предотвращения отдалённых глобальных катастроф, каковыми считаются в первую очередь две: глобальное потепление и ядерная программа Ирана. Я полагаю, что читатель, внимательно ознакомившийся с текстом этой книги, понимает, что, хотя заявленные проблемы значительны и, в конечном счёте, могут увеличить шансы человеческого вымирания, в действительности наш мир крайне далёк от осознания масштабов и даже видов нависших угроз. Несмотря на все разговоры, глобальная катастрофа не воспринимается как нечто реальное, в отличие от 60-х годов, когда риск катастрофы прямо означал необходимость подготовки бомбоубежища. Современное состояние благодушия можно уподобить только тому приятному расслаблению, которое, как говорят, царило в Перл-Харборе перед налётом японцев. Кроме того, в качестве глобальных рисков осознаётся падение астероидов, исчерпание ресурсов и риск тотальной ядерной войны, но эти темы почему-то не являются объектами активной политической дискуссии.
Собственно, можно обсудить две темы: почему выбран именно этот список катастроф, и как общество обращается с тем список рисков, который признан. Однако ответ на оба вопроса один: основное содержание дискуссий об угрозах современной цивилизации состоит именно из обсуждения в духе «а будет ли мальчик?» Делает или нет Иран бомбу, и опасна ли она? Виноваты ли люди в глобальном потеплении и стоит ли с ним бороться? Собственно, процесс составления этого списка и есть процесс политической борьбы, в которой участвуют такие факторы, как конкуренция наиболее убедительных и наиболее выгодных гипотез.
Мир после глобальной катастрофы
Как бы ни была масштабна глобальная катастрофа, вся Вселенная в ней не погибнет (если только это не распад метастабильного вакуума, но даже в этом случае останутся параллельные вселенные). Какая-нибудь разумная жизнь возникнет в ней на другой планете, и чем больше будет таких мест, тем больше шансов, что эта жизнь будет похожа на нашу. В этом смысле окончательная глобальная катастрофа невозможна. Однако если глобальная катастрофа постигнет именно Землю, то тут возможно несколько вариантов.
В соответствии с положениями синергетики, критическая точка означает, что есть несколько, конечное число, сценариев, между которыми произойдёт необратимый выбор направления движения. Как бы много ни было возможных сценариев глобальной катастрофы, количество окончательных состояний гораздо меньше. В нашем случае речь идёт о следующих вариантах:
1. Полное разрушение Земли и жизни на ней. Дальнейшая эволюция невозможна, хотя, может быть, некоторые бактерии выжили.
2. Люди вымерли, однако биосфера в целом сохранилась, и эволюция других видов животных продолжается. Как вариант – отдельные мутировавшие люди или обезьяны постепенно создают новый разумный вид.
3. Серая слизь. Уцелела некая примитивная «некросфера» (термин С.Лема из романа «Непобедимый») из нанороботов. В ней может быть своя эволюция. Вариант – уцелели самовоспроизводящиеся заводы по производству крупных роботов, но они не обладают настоящим ИИ.
4. Постапокалиптичесий мир. Технологическая цивилизация рухнула, но определённое число людей уцелело. Они занимаются собирательством и сельским хозяйством, факторы антропогенных угроз существованию исчезли. (Однако процесс глобального потепления может продолжаться за счёт запущенных ранее процессов и стать необратимым.) Из этого сценария есть возможности перехода к другим сценариям – к новой технологической цивилизации или к окончательному вымиранию.
5. Сверхмощный искусственный интеллект установил власть над миром. Люди вымерли или вытеснены на обочину истории. При этом – внимание! – с точки зрения людей это может выглядеть как мир всеобщего изобилия: каждый получит неограниченную жизнь и виртуальный мир в придачу. Однако расходы системы на развлечение людей будут минимальны, равно как и роль людей в управлении системой. Этот процесс – автономизации государства от человека и снижения роли людей в нём – уже идёт. Даже если сверхинтеллект возникнет благодаря усовершенствованию отдельных людей или их слиянию, он уже не будет человеком – во всяком случае, с точки зрения обычных людей. Его новая сложность перевесит его человеческие корни.
6. Позитивный исход – см. подробнее следующую главу. Люди создали такой сверхмощный ИИ, который управляет миром, максимально реализуя потенциал людей и человеческие ценности. Этот сценарий имеет тонкую, но существенную разницу с тем сценарием, который оставляет людям только сферу развлечений. Разница эта – как между сном о любви и настоящей любовью.
Почти каждый из этих вариантов является устойчивым аттрактором или руслом развития событий, то есть после прохождения критической точки он начинает притягивать к себе разные сценарии.
Мир без глобальной катастрофы: наилучший реалистичный вариант предотвращения глобальных катастроф
Жанр требует «хэппи энда». Если бы глобальная катастрофа была бы абсолютна неизбежна, то не следовало бы и писать этой книги, так как единственное, что оставалось бы людям перед лицом неизбежной катастрофы – это устроить «пир перед чумой». Но даже если шансы катастрофы очень велики, мы можем значительно отсрочить её наступление, уменьшая её погодовую вероятность.
Я (и ряд других исследователей) вижу эти шансы в таком опережающем развитии систем искусственного интеллекта, когда оно обгоняет развитие других рисков, но одновременно это развитие должно опережаться ростом нашего понимания возможностей и рисков самого ИИ, и нашим пониманием того, как правильно и безопасно поставить перед ним задачу, то есть как создать Дружественный ИИ. И затем на базе этого Дружественного ИИ создать единую систему мировых договоров между всеми странами, в которой этот ИИ будет выполнять функции Автоматизированной системы государственного управления. Этот план предполагает плавный и мирный переход к действительно величественному и безопасному будущему.
И хотя я не думаю, что именно этот план легко и безупречно реализуется, или что он является действительно вероятным, я полагаю, он представляет лучшее, к чему мы можем стремиться и чего мы можем достичь. Суть его можно изложить в следующих тезисах, первые два из которых являются необходимыми, а последний – крайне желательным:
1) Наши знания и возможности по предотвращению рисков будут расти значительно быстрее возможных рисков.
2) При этом эти знания и возможности управления не будут порождать новых рисков.
3) Эта система возникает мирно и безболезненно для всех людей.