Курс лекций по дисциплине «Информационно-измерительные системы», страница 23

P(i) – вероятность появления символа.

P(j/i) – условная вероятность появления

 – источник Маркова

H₂ < H₁ < H₀;

5.3.1 Избыточность сообщений

n₀ < n₁ < n₂

;

;

;

 – избыточность общая;

;

 

; ;

r_p – избыточность источника Шеннона;

 – избыточность источника Маркова;

=0.2;         r_p=0.3;

r = 0.2+0.3-0.06=0.44

Физическое проявление избыточности состоит в том, что для передачи одного и того же объема информации, длину сообщения необходимо увеличивать.

Для борьбы с избыточностью  в практике связи используют два метода:

1.  метод перекодирования для источника Шеннона (устранение неравномерности);

2.  метод укрупнения алфавита для декорреляции букв алфавита.

5.3.2 Метод перекодирования

Одни и те же буквы алфавита кодируются по-разному (неравномерным кодом).

P(0)=1/4;

P(1)=3/4;

P(0)+P(1)=1

                                                  бит/симв.

Кодер: 1

1110 – характерное сообщение

;

бит/симв.