Конспект лекций по теории электрической связи, вторая часть, страница 27

- иначе качественная передача информации невозможна

(предел Шеннона) – если это условие выполняется, то вероятность ошибки при передаче стремится к нулю.

Избыточность ИС

Если в сообщении есть избыточность (допустим, (50%) – то половину символов можно угадать по контексту).

Если сообщение идеально зашифровано:

Избыточность реального литературного текста:

По избыточности можно определить коэффициент сжатия сообщения за счет устранения избыточности.

Условная энтропия.

Н(Х/У) Х – переданное сообщение

У – принятое сообщение

Пусть сообщение принято идеально (без ошибок): .

Н(Х/У) – неопределенность относительно переданного сообщения, если известно принятое.

Н(Х/У)=0 () - потери информации отсутствуют.

если сообщение принято с огромным числом ошибок (никак не отображает переданное).

Н(Х/У)=Н(Х)

Н(Х/У): 1) неопределенность, оставшаяся от переданного сообщения после приема этого сообщения в канале с помехами.

2) количество информации, потерянной в канале при передаче сообщения Х

1) Н(Х/У)=0, если ()

2) Н(Х/У)=Н(Х)