Я воспользовался этим любезным советом. Материала оказалось так много, что пришлось потратить на его изучение несколько дней. Зато в вопросе о том, как определяют избыточность текста, я приобрел полную ясность.

Вся суть заключается в законах случайностей. Дело в том, что жители Нового Города считают случайными все значения букв. Приняв по телеграфу начало нового слова, например ст..., нельзя сказать какие буквы последуют дальше: может быть, передаваемое слово окажется столом или стулом, может быть, стеной, статьей, стоном, стройкой, стоимостью, старостью, степенью или стрелой. Поэтому и считают жители Нового Города, что вслед за буквами с и т может случайно появиться буква о, е или у.

Но, оказывается, и случайность имеет свои законы. Непосвященным это покажется странным: случайность - и вдруг закон! Казалось бы, одно из двух: или есть какая-то закономерность, или все подчиняется воле случая. Однако случай случаю рознь. У каждого случая есть своя вероятность. Какова, например, вероятность того, что вслед за ст появится буква а? Как ее подсчитать? Для этого необходимо рассмотреть огромное количество самых разнообразных текстов и произвести строгий учет всех случаев появления сочетания ст. Если в результате такого учета, произведенного на многих тысячах слов, окажется, что из каждой сотни букв, появляющихся вслед за буквами ст, буква аповторяется в среднем пять раз, значит вероятность появления буквы а после букв с и т составляет 5 процентов. И самым любопытным является то, что, определив однажды вероятность появления буквы а, равную 5 процентам, мы обнаружим то же количество букв а в любом тексте, состоящем из достаточно большого числа букв. Не правда ли, странно: можно взять разные тексты - стихи, прозу, газетные сообщения и научный отчет; в любом из них среди каждой тысячи букв будет одно и то же количество а. Чем больше будет рассматриваться букв, тем точнее повторятся те же проценты. Да что далеко ходить за примерами! Подсчитайте число букв а на этой странице, а потом откройте наугад несколько других страниц. Если на них нет рисунков, то вы на всех страницах насчитаете почти равное количество а. Отчего это происходит? Оттого, что все случайности подчиняются одному закону: среди большого числа различных случайностей каждая из них (например, появление а) повторяется определенное количество раз. Это главный закон случайностей - закон больших чисел.

Если подсчитать, сколько раз встретится каждая буква алфавита после букв с и т, мы узнаем вероятность появления различных букв. И тогда окажется, что появление некоторых букв вслед за буквами с и т имеет большую вероятность (например, буквы е, о, а, р и т. п.), других букв - меньшую (например, ы - слово стычка или стык или в - ствол, створка), а для многих букв вероятность будет вовсе равна нулю: ведь нельзя вспомнить ни одного слова, в котором за буквами ст следовали бы буквыб, г или щ. Значит, в передаваемом тексте появление тех или иных букв не является «чисто случайным»; между последующим и предыдущим значениями передаваемых букв существует определенная взаимосвязь.

Взаимосвязь между случайными влениями называется «корреляцией». Этим свойством обладают самые разнообразные случайные процессы.

Случайным является значение букв, переданных по телеграфу. Случайной является частота и громкость звука в то или иное мгновение радиопередачи, случайной является мгновенная яркость бегущего по экрану телевизора электронного луча.

Но все эти случайные процессы в той или иной степени обладают чудесным свойством корреляции: и яркость луча, и звучание той или иной ноты связаны с той яркостью и тем звучанием, которые имели место несколько мгновений назад. Эта связь - основа гармонии музыкальных мелодий, плавных переходов от света к тени, тонов и полутонов.

Корреляция - основа порядка. Если бы по какой-либо невероятной причине все процессы вдруг лишились этого свойства, то телеграфные тексты мгновенно превратились бы в бессмысленную буквенную россыпь, музыка зазвучала бы, как шум водопада. а изображение на экране телевизора стало похожим на снежный буран. Язык, в котором все сочетания букв имели бы равное право на существование, выглядел бы довольно странно, потому что рядом с привычными в этом языке существовали бы и такие «слова», как пакртчмын, ъиюа, и другие, лишенные смысла и часто вовсе не произносимые сочетания букв.

На самом деле все тексты обладают свойством корреляции, и потому только около 0,0002 процента возможных буквенных сочетаний составляют осмысленные слова. И это не удивительно, ведь существует целый ряд сочетаний, запрещенных законами русской грамматики. Значит, их вероятность равна нулю. Так, например, вслед за буквой ч никогда не последуют буквы ы, я или ю, а в начале слова или после любой из гласных мы никогда, ни в одном тексте не увидим мягкий знак.

Бесконечное множество различных процессов обладает свойствами корреляции. Помимо букв, звуков, изображений, по тем же законам могут меняться значения токов, давлений, скоростей и температур. Но математика смогла обобщить все явления, в которых случайные значения скорости, яркости или буквы зависят от тех значений, которые имели место мгновение назад. Она назвала их «марковскими процессами» - по имени русского математика Маркова, который первым исследовал подобные процессы.

Все эти сведения о вероятностных законах словесных текстов вы можете почерпнуть из специальных статей и книг. Но если вам посчастливится побывать в лабораториях Нового Города, вы сможете увидеть собственными глазами, как случаем управляет закон. Здесь вам предложат вновь обратиться к урне с шарами, но на этот раз шары будут отличаться не цветом, а надписью: на каждом шаре будет написана какая-то буква. Вынимая шары наугад и вновь бросая их в урну, вы получите что-нибудь вроде: сухерробьдш яыхвщиюайжтлфвнзстфоенвштцрпхгбкуч тжюряпчъкйхрыс.

– Для чего вы заставляете меня записывать эту бессмыслицу?
– спросил я у сотрудника лаборатории, демонстрировавшего этот опыт.

– Бессмыслицу?
– улыбнулся он.
– Да, пожалуй. Это пример самого хаотичного текста. В этой урне 320 шаров, каждая буква повторяется 10 раз. Вероятность всех букв одинакова:

PА = PБ = PВ = ... = PЯ = 1/32.

Если вы подставите эти значения в формулу Шеннона, то получится, что каждая буква дает информацию в количестве 5 бит.