1. Принцип предосторожности
Он означает подготовку к наихудшему раскладу во всех ситуациях неопределённости. Это соответствует принципу консервативной инженерной оценки в статье Юдковски. Однако предосторожность не должна носить иррациональный характер, то есть не должна утрировать ситуацию. Одна из формулировок принципа предосторожности звучит так: «Принцип предосторожности является моральным и политическим принципом, который утверждает, что если некое действие или политика могут причинить жестокий или необратимый ущерб обществу, то, в отсутствии научного согласия о том, что вреда не будет, тяжесть доказательства лежит на тех, кто предлагает данные действия» .
2. Принцип сомнения
Принцип сомнения требует допускать возможность ошибочности любой своей идеи. Однако сомнение не должно привести к неустойчивости хода мысли, податливости авторитетам, отсутствию своего мнения и неуверенности в нём, если оно достаточно доказано.
3. Открытая дискуссия
Важно поддержание открытой дискуссии по всем видам рисков. Это означает рассмотрение любое возражение в качестве истинного достаточное время, чтобы его оценить, перед тем, как решить его отвергнуть. То есть не отбрасывать никакие возражения сходу и поддерживать наличие оппонентов.
4. Самоанализ
Непрерывный анализ собственных выводов на предмет ошибок из всего списка. Но не следует применять это к другим людям.
5. Независимые повторные вычисления
Сюда входит независимое вычисление разными людьми, а также сравнение прямых и непрямых оценок.
6. Косвенная оценка степени ошибки
Мы можем оценить степень недооценки глобальной катастрофы, изучая то, насколько люди недооценивают аналогичные риски – то есть риски уникальных катастроф. Например, космические корабли «Спейс Шаттл» были рассчитаны на одну аварию более чем на 1000 полётов, но первая авария произошла на 25-ом полёте. То есть исходная оценка 1 к 25 была бы более точной. Атомные станции строились с расчетом на одну аварию в миллион лет, но Чернобыльская авария произошла примерно после 10 000 станций-лет эксплуатации (это число получается из умножения числа станций к тому моменту на средний срок их эксплуатации, и требует уточнения). Итак, в первом случае реальная устойчивость оказалась в 40 раз хуже, чем проектная оценка, а во втором – в 100 раз хуже. Отсюда мы можем сделать вывод, что в случае уникальных сложных объектов люди недооценивают их риски в десятки раз.
Литература по оценке рисков.
1. Александровский Ю.А. и др. Психогении в экстремальных условиях. Москва, Медицина, 1991.
2. Воробьё, Ю.Л, Малинецкий Г.Г., Махутов H.A. Управление риском и устойчивое развитие. Человеческое измерение. // Общественные Науки и Современность, 2000, № 6.
3. Корнилова. Т.В. Риск и мышление // Психологический журнал, 1994. №4.
4. Корнилова. Т.В. Психология риска и принятия решений (учебное пособие). - М.: Аспект Пресс, 2003.
5. Корнилова. Т.В. Мотивация и интуиция в регуляции вербальных прогнозов при принятии решений // Психологический журнал, 2006. №2 (Совместно с О.В. Степаносовой).
6. Корнилова. Т.В. Многомерность фактора субъективного риска (в вербальных ситуациях принятия решений) // Психологический журнал, 1998. №6. .
7. МакМаллин Р. Практикум по когнитивной терапии: Пер. с англ. — СПб.: Речь, 2001. — 560 с. (Гл. Логические ошибки)
8. Платонов А. В. Восприятие риска в ситуациях, требующих принятия решения. // Доклад на конференции «Lomonosov», МГУ, 1996.
9. Тофлер, Элвин. Шок будущего. - Москва, АСТ, 2002
10. Bostrom, N. Existential Risks: Analyzing Human Extinction Scenarios. Journal of Evolution and Technology, 9. - 2001. (русский перевод: Ник Бостром. Угрозы cуществованию. Анализ сценариев человеческого вымирания и связанных опасностей. Пер. с англ. А.В. Турчина. http://www.proza.ru/texts/2007/04/04-210.html )
11. Bostrom N. and Tegmark M. How Unlikely is a Doomsday Catastrophe? - Nature, Vol. 438, No. 7069, p. 754, 2005 (пер. с англ. А.В.Турчина: Макс Тегмарк и Ник Бостром. Насколько невероятна катастрофа судного дня? http://www.proza.ru/texts/2007/04/11-348.html )
12. Dawes, R.M. Rational Choice in an Uncertain World. - San Diego, CA: Harcourt, Brace, Jovanovich, 1988.
13. Fetherstonhaugh, D., Slovic, P., Johnson, S. and Friedrich, J. Insensitivity to the value of human life: A study of psychophysical numbing. - Journal of Risk and Uncertainty, 14: 238-300. 1997.
14. Kahneman, D., Slovic, P., and Tversky, A., eds. Judgment under uncertainty: Heuristics and biases. - New York: Cambridge University Press, 1982.
15. Kahneman, D. and Tversky, A. eds. Choices, Values, and Frames. - Cambridge, U.K.: Cambridge University Press, 2000.
16. Kruglanski A. W. Lay Epistemics and Human Knowledge: Cognitive and Motivational Bases. 1989
17. Posner Richard A. Catastrophe: Risk and Response. - Oxford University Press, 2004; vii + 322 pp
18. Taleb, N. The Black Swan: Why Don't We Learn that We Don't Learn? - New York: Random House, 2005
19. Yudkowsky E. Artificial Intelligence as a Positive and Negative Factor in Global Risk. Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic, – UK, Oxford University Press, to appear 2007 (русский перевод: Э.Юдковский. Искусственный интеллект как позитивный и негативный фактор глобального риска. Пер. с англ. А.В. Турчина http://www.proza.ru/texts/2007/03/22-285.html)
20. Yudkowsky E. Cognitive biases potentially affecting judgment of global risks. Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic, – UK, Oxford University Press, to appear 2007 (русский перевод: Э.Юдковский. Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков. http://www.proza.ru/texts/2007/03/08-62.html )
Е. Юдковски