I=log2N (1.60)
Отметим, что величина I безразмерна, т.е. не связана с физическими параметрами сигнала, а только с числом его состояний. Так как единица информации (I=1) соответствует числу состояний N=2, то можно считать, что единица информации – это количество информации, которое можно записать (закодировать) с помощью двух символов: 0 и 1. Поскольку каждый разряд в двоичной системе счисления может принимать значения 0 или 1, т.е. содержит одну единицу информации, было принято название единицы информации – один бит (англ. binary dijit – двоичная цифра; здесь игра слов; «bit» - частица чего-либо, в данном случае информации). Отметим, что количество информации I в случае десятичного логарифма в (1.60) измеряется в дитах, в случае натурального логарифма – в нитах. Следовательно, один бит информации соответствует одному элементарному событию, которое может произойти или не произойти. Такая мера количества информации дает возможность оперировать мерой как числом. Количество информации в соответствии с (1.60) эквивалентно количеству битов - двоичных символов (нулей и единиц). Отсюда можно сделать вывод: чтобы измерить количество любой информации нужно представить ее в виде последовательностей нулей и единиц наиболее рациональным способом (дающим минимум знаков). Длина (количество знаков) последовательности нулей и единиц может служить мерой информации.
Рассмотрим несколько примеров на определение количества информации.
Пример 1. Имеется 8 букв: a, b, c, d, e… Требуется определить количество содержащейся информации. Для этого каждую букву нужно представить в виде последовательности из нулей и единиц. Для представления (кодирования) всех букв нужно иметь восемь последовательностей, причем в каждой будет по три цифры (нулей и единиц). Например a=000; b=001; c=010; d=011 и т.д. Следовательно, количество информации равно трем битам. Этот ответ и дает формула (1.60): I=log2 8=3 бита.
Аналогичный подход может быть использован для оценки количества информации при выборе одного сообщения из N равноправных (равновероятных) сообщений.
Пример 2. Имеется колода карт, содержащая 32 различные карты. Требуется определить количество информации при выборе одной карты.
Априори естественно предположить, что вероятность выбора некоторой определенной карты одинакова для всех карт колоды. Поэтому для выбора одной карты из колоды имеем оценку количества информации: I=log232=5 бит. Полученная оценка имеет интересную итерпретацию. Количество информации I характеризует число двоичных («да»-«нет» -ных) вопросов, необходимых для выбора (угадывания) одного сообщения из ряда N равновероятных сообщений.
Следовательно, возвращаясь к данному примеру, для выбора одной карты надо задать 5 двоичных вопросов. Например, для выбора дамы пик такими вопросами будут:
1. Карта красной масти? Ответ «нет» 0.
2. Трефы? Ответ «нет» 0.
3. Одна из четырех старших? Ответ «да» 1.
4. Одна из двух старших? Ответ «нет» 0.
5. Дама? Ответ «да» 1.
Этот выбор можно описать последовательностью из пяти двоичных символов 00101 (0-нет, 1-да). Процесс замены ответов на 1 и 0 называется кодированием, полученная последовательность – кодовым символом. Длина кодового слова соответствует мере информации.
В случае если количество выборов не равно степени двойки получается нецелое число вопросов. Например, если взять колоду из 36 карт, то может оказаться, что в ряде случаев для выбора определенной карты может понадобиться 5 вопросов, как и в предыдущем случае, а в ряде случаев – 6 вопросов. Усреднение по случаям и дает получаемую по формуле 1.60, не целую величину меры информации.
Уважаемый посетитель!
Чтобы распечатать файл, скачайте его (в формате Word).
Ссылка на скачивание - внизу страницы.