Основы информатики и вычислительной техники: Учебно-практическое пособие, страница 28

Пример 3. Какова H_max системы, состояние которой заключается в расположении одной фигуры на одном из 64 полей шахматной доски?

Энтропия равна H_max, когда события равновероятны. В случае равновероятных состояний в соответствии с (1.67) .

Если фигура чернопольная, то .

Пример 4. Какова H_max сообщения состоящего из пяти букв при общем количестве 32 буквы в алфавите. Количество возможных состояний в соответствии с (1.53) . , когда состояния равновероятны. По формуле (1.67)

По существу энтропия (неопределенность) есть не что иное, как недостаток информации, или ее отрицательная величина. Иначе говоря, в общем случае количество информации представляет собой убыль энтропии в следствии проведения какого-либо опыта. В случае, когда неопределенность снимается полностью количество информации I равно энтропии, т.е. I=H, причем неопределенность будет наибольшей, когда вероятности событий одинаковы. Это соответствует максимально возможному количеству информации, оцениваемому мерой Хартли:

В общем случае имеет место частичная информация, которая представляет собой разность между начальной Н₁ и конечной Н₂ энтропией, т.е. I=H₁-H₂=ΔH.

Энтропия источника тесно связана с понятием избыточности информации.

Абсолютная избыточность источника информации  представляет собой разность между максимально возможным количеством информации и энтропией

                                                  (1.68)

Относительная избыточность

                                                                (1.69)

Как видно из (1.68) чем больше энтропия источника H_max, тем выше его избыточность и наоборот.

Пример. Пусть полная шкала измерений содержит 1000 единиц (квантов), допускаемая погрешность 1% от полной шкалы, т.е. 10 квантов. Определить избыточность.

Всю шкалу достаточно разделить на 50 квантов и .

В случае если для измерения используется непрерывная шкала, т.е. , то при любых начальных значениях допустимой погрешности избыточность максимальна, т.е. .

Избыточность увеличивает надежность передачи информации, так как появляется возможность исправления ошибок, возникающих в канале связи вследствие действия помех, однако избыточность одновременно уменьшает скорость передачи информации.

При передаче через канал связи без помех последовательности дискретных сообщений длительностью Т, скорость передачи информации I по каналу связи.

(бит/с).

Предельное значение скорости передачи информации называется пропускной способностью канала связи без помех . Так как количество информации в сообщениях максимально при равной вероятности состояний, то . Количественно пропускная способность канала связи выражается максимальным количеством двоичных единиц информации, которое данный канал связи может передать за одну секунду.

Для наиболее эффективного использования канала связи необходимо, чтобы скорость передачи информации была как можно ближе к пропускной способности канала связи. Если скорость поступления информации на вход канала связи превышает пропускную способность канала, то по каналу будет передана не вся информация. Основное условие согласования источника информации и канала связи .