69820.fb2 Методы статистического анализа исторических текстов (часть 1) - читать онлайн бесплатно полную версию книги . Страница 60

Методы статистического анализа исторических текстов (часть 1) - читать онлайн бесплатно полную версию книги . Страница 60

В нашем вычислительном эксперименте сравнивались:

а) древние тексты с древними,

б) древние с современными,

в) современные с современными.

Как мы уже сказали, наряду с графиками объема "глав" исследовались и другие количественные характеристики текстов. Например, графики числа упомянутых имен, графики числа упоминаний данного года в тексте, графики частот ссылок на какой-либо другой фиксированный текст, и т.п. [416], [438], [419], [375].

Оказалось, что для всех этих характеристик выполняется тот же ПРИНЦИП КОРРЕЛЯЦИИ МАКСИМУМОВ. А именно, графики зависимых текстов делают всплески практически одновременно, а для независимых текстов точки всплесков графиков никак не коррелируют.

Сформулируем еще одно следствие из нашей основной модели, статистической гипотезы.

А именно, если два исторических текста ЗАВЕДОМО ЗАВИСИМЫ, то есть описывают один и тот же "поток событий" на одном и том же интервале времени в истории одного и того же государства, то для любой пары указанных выше числовых характеристик соответствующие им графики делают всплески приблизительно в одни и те же годы. Другими словами, если какой-то год в обоих летописях описан подробнее, чем соседние годы, то увеличится (локально) число упоминаний этого года в обоих летописях, увеличится количество имен персонажей, упомянутых в этом году в обоих летописях и т.п. Напротив, если тексты ЗАВЕДОМО НЕЗАВИСИМЫ, то никакой корреляции между указанными числовыми характеристиками быть не должно.

Проверка этого "вторичного принципа корреляции максимумов" подтвердила его справедливость на конкретных заведомо зависимых исторических текстах. См. [375], с.110-111.

1.5. МЕТОДИКА ДАТИРОВАНИЯ ИСТОРИЧЕСКИХ СОБЫТИЙ.

Поскольку наша теоретическая модель подтвердилась на экспериментальном материале, мы можем теперь предложить новую методику датирования древних событий. Хотя она, конечно, не универсальна. Опишем идею метода.

Пусть Y - исторический текст, описывающий неизвестный нам "поток событий" с утраченными абсолютными датировками. Пусть годы t отсчитываются в тексте от какого-то события местного значения, например, от основания какого-то города или от момента воцарения какого-то царя, абсолютные датировки которых нам неизвестны. Подсчитаем для текста Y его график объема "глав" и сравним его с графиками объема других текстов, для которых абсолютная датировка событий, описанных в них, нам известна. Если среди этих текстов обнаружится текст Х, для которого число р(Х,Y) мало, то есть имеет такой же порядок, как и для пар зависимых текстов (не превосходит, например, числа 10^{-8} для соответствующего количества локальных максимумов), то можно с достаточно большой вероятностью сделать вывод о совпадении описываемых в этих текстах "потоков событий". Причем, эта вероятность тем больше, чем меньше число р(Х,Y).

При этом оба сравниваемых текста могут быть внешне несхожи. Например, они могут быть двумя вариантами одной и той же летописи, но написанными в разных странах, разными летописцами, на разных языках.

Эта методика датирования была экспериментально проверена на средневековых текстах с заранее известной датировкой. Полученные даты совпали с этими датировками. Приведем типичные примеры.

ПРИМЕР 6.

В качестве текста Y мы взяли русскую летопись, так называемую краткую редакцию Двинского летописца, описывающая события на 320-летнем интервале [166]. Попробуем датировать описанные в летописи события, используя указанную методику. Перебирая все летописи, опубликованные в "Полном собрании русских летописей", мы вскоре обнаруживаем текст Х, график объема vol X(t) которого делает всплески практически в те же годы, что и график vol Y(t) летописи Y. См.рис.3.14.

При сравнении графиков мы, конечно, предварительно совмещаем временны'е интервалы (А,В) и (C,D), накладываем их друг на друга. Подсчет дает, что здесь р(Х,Y) = 2x10^{-25}. Следовательно, весьма вероятно, что эти две летописи описывают приблизительно одни и те же "потоки событий". Таким образом, нам удалось чисто формально, на основе сравнения лишь статистических характеристик текстов, датировать события, описанные в тексте Y. Оказывается, что летопись Х - это пространная редакция Двинского летописца [166]. Считается, что эта летопись описывает "поток событий" 1390-1707 годов н.э. В результате, полученная нами датировка текста Y совпала с его стандартной датировкой, что подтверждает эффективность нашего метода.

ПРИМЕР 7.

Возьмем в качестве "текста Y с неизвестной датировкой" русскую Академическую летопись [166]. Следуя приему, описанному выше, вскоре обнаруживаем текст X, а именно, часть Супрасльской летописи [166], описывающей, как считается, 1336-1374 годы н.э. Оказывается, график объема vol X(t) делает всплески практически в те же годы, что и график объема vol Y(t). См.рис.3.15.

Подсчет дает, что здесь p(X,Y)=10^{-14}. Такое малое значение коэффициента ясно указывает на зависимость этих двух текстов. Поскольку летопись X датирована, то мы датируем и летопись Y. Полученная нами датировка текста Y совпала с его датировкой, известной ранее.

Мы обработали несколько десятков аналогичных текстов эпохи XV-XIX веков, и во всех случаях полученная нами датировка "неизвестного текста Y" совпала с его обычной датировкой.

Конечно, во всех этих последних примерах мы ничего нового не узнали, поскольку датировка, например, краткой редакции Двинского летописца была и без того заранее известна, и особых оснований сомневаться в ее правильности у нас нет. Ведь это уже XIV-XVIII века, то есть эпоха более или менее надежной хронологии. Однако вскоре мы увидим, что наш метод даст интересные результаты для летописей, традиционно относимых к более ранним эпохам, то есть ранее XIV века н.э.

Принцип корреляции максимумов мы изложили выше огрубленно, не вникая в статистические детали, потому что преследовали одну цель - быть быстро понятыми читателями. В то же время строгое математическое изложение метода и его уточнений требует существенно бо'льших подробностей. Мы отсылаем читателя, желающего глубже вникнуть в описанный метод, к научным публикациям [375], [386].

Коэффициент p(X,Y) можно условно назвать ВССЛ - вероятностью случайного совпадения лет, подробно описанных в летописях X и Y.

Дальнейшее развитие и уточнение идеи было дано в работах В.В.Федорова, А.Т.Фоменко [388] и В.В.Калашникова, С.Т.Рачева, А.Т.Фоменко [400]. Выяснилось далее, что наиболее ярко принцип корреляции максимумов проявляется при сравнении исторических текстов примерно одинакового объема, имеющих примерно олинаковую "плотность описания". Кроме того, обнаружилось, что в некоторых случаях для заведомо зависимых текстов коррелируют не только точки локальных максимумов, но даже и сами функции объема, то есть их амплитуды! Это достаточно удивительный и важный факт. Особо ярко корреляция амплитуд функций объема наблюдается при сравнении "достаточно бедных" текстов, то есть летописей, содержащих большие лакуны - значительные интервалы времени, не отраженные в хронике. Оказалось, что процесс написания хронистами "достаточно бедных" летописей подчиняется интересному принципу "уважения к информации", или принципу "сохранения раритетов". Эта закономерность была обнаружена С.Т.Рачевым и А.Т.Фоменко [410], [424]. Предварительные исследования в этом направлении и саму формулировку принципа уважения к информации см. как в работах [410], [424], так и ниже, в параграфе, написанном С.Т.Рачевым и А.Т.Фоменко.

Принцип корреляции максимумов был также успешно применен к анализу некоторых русских летописей периода "смуты" конца XVI - начала XVII веков н.э. См. на эту тему работы Л.Е.Морозовой и А.Т.Фоменко [399], [402]. В этом исследовании большое участие принимал также Н.С.Келлин. См. ниже раздел, написанный Н.С.Келлиным, Л.Е.Морозовой и А.Т.Фоменко.

1.6. ФУНКЦИИ ОБЪЕМОВ ИСТОРИЧЕСКИХ ТЕКСТОВ И ПРИНЦИП

АМПЛИТУДНОЙ КОРРЕЛЯЦИИ.

(С.Т.Рачев, А.Т.Фоменко)

1.6.1. ЗАВИСИМЫЕ И НЕЗАВИСИМЫЕ ЛЕТОПИСИ. КОРРЕЛЯЦИЯ

МАКСИМУМОВ ФУНКЦИЙ ОБЪЕМА.

Здесь мы опишем результаты, опубликованные авторами в [410], [424]. Как и выше, назовем две исторические летописи X и Y ЗАВИСИМЫМИ, если они восходят к общему первоисточнику, описывают приблизительно одни и те же события на одном и том же отрезке времени (A,B) в истории одного и того же региона.

Напротив, две летописи будем считать НЕЗАВИСИМЫМИ, если они описывают события на существенно разных отрезках времени (A,B) и (C,D), или же описывают события в заведомо разных географических регионах. Два отрезка времени мы будем считать СУЩЕСТВЕННО РАЗЛИЧНЫМИ, если на оси времени они пересекаются (то есть имеют общую часть) не более чем на половину их длины. В дальнейшем, для простоты, будем считать, что сравниваются летописи, описывающие отрезки времени одинаковой длины, то есть B-A = D-C.

Пусть летопись X описывает события на отрезке времени (A,B) и параметр t пробегает годы от года A до года B. Как и выше, через X(t) мы обозначим часть летописи, описывающую события, происшедшие в год t. Для краткости, назовем фрагменты X(t) - ГЛАВАМИ. Подсчитаем объем каждого такого фрагмента в каких-либо единицах, например, в строках, или в страницах. В перечисляемых ниже примерах объем глав подсчитывался в строках. Впрочем, выбор единицы измерения здесь несущественен. При статистической обработке мы нормировали объемы глав, деля их на полный объем всей летописи. Таким образом, возможная разница в выборе единиц измерения объема нивелируется. Итак, мы получаем функцию vol X(t), которую называем ФУНКЦИЕЙ ОБЪЕМОВ летописи.

Принцип корреляции точек локальных максимумов графиков объема был сформулирован и экспериментально проверен в [375]. Главная идея, положенная в основу принципа, и вытекающих из него методик, такова: зависимость или независимость хроник в некоторых случаях можно устанавливать, сравнивая их функции объемов. Огрубляя, можно сказать, что ТОЧКИ ЛОКАЛЬНЫХ МАКСИМУМОВ ГРАФИКОВ ОБЪЕМОВ ЗАВИСИМЫХ ЛЕТОПИСЕЙ ДОЛЖНЫ "КОРРЕЛИРОВАТЬ" (в подходящем точном смысле, см. выше), А ДЛЯ НЕЗАВИСИМЫХ ЛЕТОПИСЕЙ "КОРРЕЛЯЦИИ" БЫТЬ НЕ ДОЛЖНО. См.рис.3.1.

В работе [400] общая идея корреляции функции объемов зависимых летописей, и отсутствие корреляции для независимых летописей, была для некоторых случаев распространена В.В.Калашниковым, С.Т.Рачевым и А.Т.Фоменко НА САМИ ФУНКЦИИ ОБЪЕМА, то есть с учетом их АМПЛИТУД. Поскольку здесь в исследование вовлекались амплитуды графиков, то необходимо было проверить эту усиленную форму принципа корреляции на конкретных летописях, что и было сделано в [400] с участием Н.Я.Ривеса. Предложенные в [400] методы обнаружения зависимых и независимых летописей оказались достаточно эффективными при сравнении хроник примерно ОДИНАКОВОГО ОБЪЕМА. Однако картина начинала "смазываться" при сравнении летописей существенно РАЗНЫХ ОБЪЕМОВ. В настоящей работе выделяется новый класс летописей, для которых верна усиленная форма принципа корреляции.

Принцип корреляции максимумов опирался на то обстоятельство, что разные летописцы, рассказывавшие об одной и той же исторической эпохе, использовали, в основном, ОДИН И ТОТ ЖЕ объем, фонд уцелевшей информации, то есть сохранившейся до их времени. Поэтому они, как показали наши статистические эксперименты, подробнее описывали те годы, от которых сохранилось много текстов, и менее подробно - остальные.

Напомним понятие первичного объема информации о событиях эпохи (А,В). Пусть С(t) - объем всех документов, написанных современниками года t о событиях этого года. См.рис.3.2. Пусть теперь X и Y летописцы, уже не являющиеся современниками эпохи (А,В), но желающие написать ее историю. Пусть M (соответственно N) - год, в который летописец X (соответственно Y) создает хронику эпохи (А,В).

Напомним, что С_M (t) - это объем тех документов, которые уцелели от эпохи (А,В) до момента M, то есть до эпохи летописца X. Другими словами, это остаток первичных текстов, дошедших до времени M. График C_M (t) - это график объема уцелевшей информации о событиях эпохи (А,В). Аналогично определяется C_N (t).

Принцип корреляции максимумов вытекает из следующего принципа. Каждый летописец Х, описывая эпоху (А,В), "в среднем" более подробно говорит о годах, где график С_M (t) делает всплески, то есть чем больше документов дошло до летописца Х от эпохи (А,В), тем подробнее он говорит об этом времени. См. рис.3.3.

1.6.2. БЕДНЫЕ И БОГАТЫЕ ЛЕТОПИСИ. БЕДНЫЕ И БОГАТЫЕ ЗОНЫ ЛЕТОПИСЕЙ.

Определение бедной или богатой летописи инстуитивно ясно из рис.3.16. БЕДНОЙ мы назовем летопись, у которой "большинство" объемов vol X(t) - нулевые, то есть большинство лет вообще не описано летописцем. БОГАТОЙ назовем хронику, у которой, напротив, "большинство" объемов vol X(t) отлично от нуля и достаточно велико, то есть летописец сообщает много сведений об эпохе (А,В).

Конечно, в реальных примерах иногда трудно отнести ту или иную летопись к разряду бедных или богатых. Поэтому полезно ввести новые понятия БЕДНОЙ ЗОНЫ и БОГАТОЙ ЗОНЫ данной летописи. На рис.3.17 условно изображен график объема летописи, где начальная ее часть - БЕДНАЯ, а последняя - БОГАТАЯ. Наш опыт изучения конкретных летописей показывает, что следующая ситуация типична: НАЧАЛЬНАЯ ЧАСТЬ длинной летописи - это БЕДНАЯ ЗОНА, а ее заключительная часть - БОГАТАЯ ЗОНА. Встречаются, конечно, летописи, у которых бедная зона расположена "в середине". См.рис.3.18.

1.6.3. ЗНАЧАЩИЕ И НЕЗНАЧАЩИЕ НУЛИ ФУНКЦИИ ОБЪЕМА.

При изучении конкретной летописи мы будем в качестве самой левой точки А на оси времени брать год, для которого vol X(A) отличен от нуля, то есть этот год ОПИСАН летописцем. Нуль графика объема назовем ЗНАЧАЩИМ, если он расположен ПРАВЕЕ первого ненулевого значения графика. См.рис.3.19. Если же нуль расположен ЛЕВЕЕ первого ненулевого значения графика, то назовем такой нуль НЕЗНАЧАЩИМ. Незначащий нуль показывает, что летописец ничего не знает не только о данном годе, но и обо всех годах, ему предшествующих. А значащий нуль показывает, что хотя хронист ничего не знает о данном годе, он все-таки кое-что знает о некоторых ПРЕДЫДУЩИХ годах.

1.6.4. ПРИНЦИП УВАЖЕНИЯ К ИНФОРМАЦИИ.

Рассмотрим какую-либо историческую эпоху (А,В) и летописца Х, живущего в году M, где M много больше чем В. См. рис.3.20. Описывая события эпохи (A,B), летописец Х вынужден опираться на фонд С_M (t) уцелевшей информации, то есть сохранившейся до его времени. Наша мысль состоит в следующем: летописец по-разному относится к бедной и к богатой зонам фонда уцелевшей информации.

Модель, ПРИНЦИП УВАЖЕНИЯ К ИНФОРМАЦИИ мы сформулируем так.

УВАЖЕНИЕ ЛЕТОПИСЦА К УЦЕЛЕВШЕЙ ИНФОРМАЦИИ ОБРАТНО ПРОПОРЦИОНАЛЬНО ЕЕ ОБЪЕМУ.

Интуитивное обоснование этого принципа понятно. Если какая-то информация сохранилась на "нулевом окружающем фоне", то есть когда справа и слева от нее расположены годы, о которых летописцу вообще ничего неизвестно, то летописец вынужден ВЫСОКО ЦЕНИТЬ эти редкие, чудом дошедшие до него сведения. И он копирует ее довольно добросовестно, даже независимо от своего личного отношения к ее содержанию. Кроме того, в БЕДНОЙ ЗОНЕ фонда уцелевшей информации летописцу в общем-то "не из чего выбирать". Возможный произвол в его действиях ограничен здесь весьма малым объемом уцелевших сведений. Следовательно, летописец в среднем добросовестно воспроизводит АМПЛИТУДЫ функции объема С_M (t) уцелевшей информации внутри бедных ее зон.