Шрифт:
Название «бит» происходит от сокращения английских слов, означающих в переводе «двоичная единица». Каждый знак двоичного кода тоже дает 1 бит информации, потому что с равной вероятностью может появиться 1 или 0.
Теперь мы имеем возможность оценить наши опыты в битах. Случай с четырьмя и шестью шарами имел большую неопределенность и давал информацию в количестве 0,97 бита. Опыт с девятью черными и одним белым шарами обладает меньшей неопределенностью - здесь каждое сообщение дает только 0,47 бита. А если в ящике находится 99 черных шаров и только один белый? Неопределенность почти исчезает: мы будем почти все время извлекать черный шар. И по формуле мы получим для данного случая информацию всего лишь 0,08 бита. Ну, а если нам вопреки ожиданиям попадется вдруг белый шар? Случай этот весьма непредвиденный, значит сообщение о таком результате должно дать большое количество информации. Так оно и окажется. Но при большом количестве опытов такое событие будет происходить очень редко, и в общей сумме полученной информации оно сыграет весьма малую роль. А формула Шеннона показывает, сколько информации дает в среднем каждое из сообщений. В большинстве случаев мы станем получать сообщения об извлечении черного шара. Очень редко будет попадаться и белый шар. А в среднем каждое сообщение оценивается в 0,08 бита.
А теперь взгляните на формулу, начертанную на самом верху колонны. Не кажется ли она вам знакомой? В самом деле, в ней есть те же символы Pi log Pi. Тот же значок вероятности. Тот же логарифм. А что означает i? i - это ряд целых чисел: 1, 2, 3 ... n. Вместо того чтобы много раз подряд писать похожие друг на друга строчки, математики придумали это простое обозначение: знаком они избавляют себя от труда много раз подряд повторять знак «+». Для полной ясности они пишут под этим знаком, что счет надо начинать с единицы (i=1; Pi=P1), а вверху напоминают, что кончать надо тогда, когда учтены все возможные случаи, то есть при Pi=Pn. Вот и получается знаменитая формула Шеннона, породившая Новый Город:
I =
n
i=1
Pi log Pi
Эту формулу можно использовать для оценки разнообразных сообщений. «Когда состоится очередное совещание работников транспорта?» - -запросили вы министерство. Какое количество информации вы должны получить в ответ? Неопределенности здесь гораздо больше, чем в опытах с черными и белыми шарами. Там вы могли ожидать только два различных исхода. А здесь вам могут назвать любой месяц и любое число. В году 365 дней, и, пока вы не получили ответа, любой из них имеет для вас одинаковую вероятность:
P1 = P2 = ... = P365 =
1
365
Формула Шеннона поможет нам выразить эту неопределенность количеством бит:
I =
365
i=1
Pi log Pi
Если действовать так, как велит эта формула, придется, набравшись терпения, выписать все члены Pilog Pi от P1 до P365 и сложить их между собой.
Но в данном случае расчет производится проще: сложение можно заменить умножением, потому что все вероятности Pi равны. Значит,
I =
(
1
365
·log
1
365
)
·365 = log
1
365
= - log 28,5 = 8,5 бита.
Но вот пришел, наконец, ответ организаторов совещания, и неопределенность исчезла: в ответе указана точная дата - пятое августа. В каждом слове этого сообщения содержится определе-н'ное количество информации. Слово «август» позволяет отметить один из 12 месяцев. В нем содержится:
I1 =
12
i=1
Pi log Pi =
(
1
12
·log
1
12
)
·12 = - log 23,6 = 3,6 бита.
Слово «пятое» позволяет выбрать из 31 дня данного месяца интересующий нас день совещания.
Значит,
I2 =
31
i=1
Pi log Pi =
(
1
31
·log
1
31
)
·31 = - log 24,9 = 4,9 бита.
А в целом полученное сообщение дало нам как раз то количество информации, которое мы ожидали: I(сообщения) = I1 + I2 = 3,6 + 4,9 = 8,5 бита.
Видите, как все получается просто: чтобы узнать количество информации, содержащейся в сообщении, надо учесть число бит в каждом его элементе (слове, букве, числе, импульсе) и сложить их между собой4.
Бывают случаи, когда подсчитать количество информации очень несложно. Например, количество информации, содержащейся в сообщении о том, что Ботвинник играет черными, составляет ровно 1 бит. В самом деле, до получения этого сообщения вы могли предполагать, что черные фигуры окажутся или у Ботвинника, или у его партнера. Оба эти случая имели равную вероятность. Однако если вы знали о том, что прошлую партию Ботвинник играл черными, данное сообщение не несет вам никаких новых сведений - информация равна нулю. Зато сообщение о каждом ходе Ботвинника дает большое количество информации, потому что до его получения была полнейшая неопределенность: вы могли строить множество комбинаций, изыскивая лучший ход.