Конспект лекций по теории электрической связи, вторая часть, страница 26

 - вероятность n-буквенной последовательности

       (1)

Энтропия источника есть количество информации, которая в среднем содержится в 1 символе сообщения при неограниченной длине этого сообщения.

Если зафиксировать конкретную длину сообщения:

       (2)

Формула (1) позволяет учитывать все статистические связи между буквами в тексте сообщения. Это позволяет учитывать предсказуемость очередных символов по контексту.

                          Свойства энтропии источника

1)  Если в сообщении неограниченной длины n каждый очередной символ появляется независимо от контекста (независимо от предыдущего и последующего символа), то энтропия

 (n=1)      (3)

2)

3) Если в тексте сообщения все его символы появляются не только независимо от контекста, но и равновероятно, то

             (4)

4)

Задача

Рассчитать количество информации, которое содержится в сообщении длиной n=1000 символов, если известно: энтропия источника Н(Х)=1.5[бит/симв].

график, стр 176

                          Производительность ИС

Н(Х) [бит/симв] – количество информации, которую в среднем несет 1 символ

V [симв/с] – символьная скорость

 -  производительность ИС

Производительность – средняя скорость выдачи Источником Сообщения информации