-
вероятность n-буквенной последовательности
(1)
Энтропия источника есть количество информации, которая в среднем содержится в 1 символе сообщения при неограниченной длине этого сообщения.
Если зафиксировать конкретную длину сообщения:
(2)
Формула (1) позволяет учитывать все статистические связи между буквами в тексте сообщения. Это позволяет учитывать предсказуемость очередных символов по контексту.
Свойства энтропии источника
1) Если в сообщении неограниченной длины n каждый очередной символ появляется независимо от контекста (независимо от предыдущего и последующего символа), то энтропия
(n=1) (3)
2) 
3) Если в тексте сообщения все его символы появляются не только независимо от контекста, но и равновероятно, то
(4)
4) 
Задача
Рассчитать количество информации, которое содержится в сообщении длиной n=1000 символов, если известно: энтропия источника Н(Х)=1.5[бит/симв].
график, стр 176
Производительность ИС
Н(Х) [бит/симв] – количество информации, которую в среднем несет 1 символ
V [симв/с] – символьная скорость
-
производительность ИС
Производительность – средняя скорость выдачи Источником Сообщения информации
Уважаемый посетитель!
Чтобы распечатать файл, скачайте его (в формате Word).
Ссылка на скачивание - внизу страницы.