Основы информатики и вычислительной техники: Учебно-практическое пособие, страница 23

Пример 3. На лекции 16 студентов. Лектор запомнил одну фамилию. Сколько надо задать вопросов, чтобы узнать кого он запомнил?

         Количество информации I=log₂ 16=4 бита. Для решения задачи нужно всем студентам присвоить номера от 0 до 15, а затем порядковый номер каждого представить в виде четырехзначной последовательности из нулей и единиц (в двоичной системе). Например, 0-0000; 1-0001; 2-0010; 3-0011 и т.д. Например, для N6-0110. Тогда 4 вопроса, которые нужно задать, будут: верно ли, что в двоичной записи номеров фамилии первая, вторая, третья и четвертая цифры равны 1. Ответ: «нет», «да», «да», «нет», т.е. кодовое слово 0110.

Пример 4. В городе 5 миллионов жителей. Загадали одного. Сколько надо задать вопросов, чтобы отгадать?

         Количество информации I=log₂ 5000000=23 бита (2²²=4194304; 2²³=8388608). Ответ: надо задать 23 вопроса.

         Следовательно формулу Хартли (1.60) можно интерпретировать и таким образом: если в заданном множестве G, содержащем N элементов, выделили элемент X, о котором известно, что он принадлежит множеству G, то чтобы найти Х, надо получить количество информации, равное I=log₂ N.

         Мера информации по Хартли (1.60) хотя и позволяет измерять количество информации, содержащейся в сигнале, и используется на практике, но имеет ограниченное применение. Дело в том, что хартлиевская мера оценки информации зависит только от числа N возможных состояний источника информации и не учитывает различной вероятности появления отдельных символов, составляющих эти состояния. Предполагается, что эти вероятности одинаковы, т.е. каждый символ несет одинаковое количество информации.

  В общем случае, при посылке N последовательных независимых сигналов, вероятности появления отдельных символов в них могут быть различны, что не может не сказаться на количестве поступающей информации. Так, очевидно, что если один из символов появляется часто и вероятность его появления близка к единице, то такой символ несет мало информации. Столь же мало информативны символы вероятность появления которых близка к нулю.

В связи с этим в теории информации принят более общий – вероятностный (энтропийный) подход к оценке информации. Сущность этого подхода заключается в том, что мера информации, поступающей от символа, зависит от вероятности его появления в сигнале.

Количество информации, поступающей от каждого символа в случае, когда они равновероятны может быть получено из формулы (1.60) и выражается в битах

                        (1.61)

где  - вероятность появления каждого из символов, образующих полную группу событий .

Предположим, что в определенные фиксированные моменты времени t,  количество которых равно М, приемник воспринимает сигналы x(t), состоящие из N дискретных символов (значений), причем в каждый момент времени может появиться один из символов, заранее неизвестно какой. Тогда в результате приема М сигналов можно определить частоту (вероятность) появления каждого из N символов, как отношение числа появления этого символа к общему числу М. В результате может быть получена таблица (табл. 1.2), в которой указываются дискретные значения сигнала и вероятности их появления, причем эти значения образуют полную группу событий, т.е.

.