Как видите, даже при передаче текста дело обстоит совсем не так просто, как может показаться на первый взгляд. А с музыкой или телевизионным сигналом будет еще сложней. Ведь здесь нет ни слов, ни букв, ни импульсов азбуки Морзе, которые можно было бы сосчитать. Есть только непрерывно изменяющийся во времени сигнал. Но и он содержит в себе информацию, которую можно измерить.

Кажется, нам повезло. Наш новый знакомый, вероятно, крупный ученый, и он настолько увлекся затронутой темой, что уличная беседа превратилась в солидный доклад.

– Как же оценить количество информации, содержащейся в самых разнообразных сообщениях? Ведь информацию не измеришь линейкой и не взвесишь на весах! Какая же мера способна учесть не только количество переданных слов и сигналов, но и количество содержащихся в них «новостей»? Здееьто и возникает новое понятие о «количестве информации», выражаемом с помощью энтропии.

Ученый обошел вокруг обелиска и остановился возле двух ящиков, затерявшихся среди множества прочих предметов. Заглянув туда, мы обнаружили, что в каждом из них есть черные и белые шары.

– Это устройство предназначено для туристов, - поясняет ученый.
– Тому, кто стремится понять смысл информации, надо прежде всего познакомиться с вероятностью. В этом нам помогут шары. В урне 6 черных шаров и 4 белых. Вынимайте их наугад и бросайте обратно. А ваш товарищ будет записывать, какой попадается шар. Вторая пара проделает то же самое с шарами другой урны. Записали? Продолжайте опыт. Чтобы определить вероятность извлечения черного и белого шаров, придется повторить эти манипуляции несколько десятков раз.

Набравшись терпения, мы полчаса таскали шары из ящиков и отмечали, какой попадается шар. Записи выглядели так:

I урна: Ч, Б, Ч, Ч, Б, Ч. Б, Б, Ч, Ч, Ч, Б, Б...

II урна: Ч, Ч, Б, Ч, Ч, Ч, Ч, Ч, Ч, Б, Ч, Ч, Ч, Ч, Ч...

– Очевидно, Б обозначает «белый»?
– спрашивает ученый.
– Мы обычно пишем не так. У нас одному случаю соответствует 1, а второму - 0.

– Как в двоичном коде?

– Вот именно. Итак, белый шар - 1, черный - 0. Как теперь будут выглядеть записи?

I урна: 0, 1, 0, 0, 1, 0, 1, 1, 0, 0, 0, 1, 1...

II урна: 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0...

– Теперь обратите внимание на одно весьма важное обстоятельство: во второй строчке цифра 0 встречается гораздо чаще, чем 1. Во втором опыте вам гораздо чаще попадались черные шары. Как вы думаете, это случайно?

– Разумеется. Ведь мы вынимали их наугад.

– Совершенно справедливо. Но во втором случае извлечение черного шара имело большую вероятность. Это легко подсчитать: здесь среди 10 шаров 9 имеют черную окраску, значит вероятность такого события составляет 9/10, или 90 процентов.

В первом ящике было 6 черных шаров. Вероятность их извлечения составляет 60 процентов. Поэтому еще до начала опыта можно было предвидеть, что из второй урны мы будем извлекать черный шар гораздо чаще, чем из первой.

Итак, мы извлекаем наугад шары сначала из первой урны, затем из второй и получаем сообщения об исходе опыта: в обоих случаях извлечен черный шар. Какое из этих двух сообщений содержит большее количество информации? Теория информации утверждает, что первое, потому что случай с четырьмя и шестью шарами имеет большую неопределенность - ведь во втором случае можно еще до получения сообщений почти безошибочно предсказать, что при повторении опыта будут чаще попадаться черные шары. Таким образом, количество информации зависит как от степени неопределенности какого-то явления, так и от меры нашего неведения о том, как и что будет происходить.

Теперь предположим, что мы продолжаем поочередно извлекать шары из второго ящика до тех пор, пока в руках у нас не окажется белый шар. Давайте отложим этот шар в сторону и продолжим наш опыт. Сколько информации будет давать нам теперь сообщение об извлечении шара? Нуль. Ведь, получив информацию о том, что из ящика извлечен единственный белый шар, мы можем уже совершенно определенно утверждать, что теперь любой извлеченный шар будет черным. Значит, мы пришли к случаю, соответствующему полному отсутствию неопределенности: вся неопределенность, заключающаяся в наличии одного белого шара, исчерпана в момент получения информации о том, что этот шар извлечен.

Что же получается? До тех пор, пока белый шар оставался в ящике, сообщение об извлечении каждого шара несло в себе определенное количество информации. Сообщение же об извлечении белого шара исчерпало всю неопределенность. Продолжая вытаскивать оставшиеся черные шары, мы будем получать сообщения об извлечении каждого шара, не получая уже никакой дополнительной информации.

Значит, с точки зрения наблюдателя, не все, содержащееся в сообщении, является информацией, а только то, что заранее ему неизвестно.