Курс лекций по дисциплине «Информационно-измерительные системы», страница 22

;

;

Свойства энтропии:

1)  log₂P < 0, так как P < 1

H > 0 положительная;

2)  P(0) = 0; P(1) = 1;

;

H₁ = 0, при P_i = 0 или 1

Энтропия > 0, при  , т+огда существует экстремум (max)

3)   

H₀ = H₁ (при P(0) = P(1) = 1/2) ШеннонХартли

Из рассмотренного ранее материала мы видим, что для повышения эффективности необходимо кодировать неравновероятные сообщения так, чтобы получить равновероятные символы.

5.3 Источник Маркова

До сих пор мы не учитывали того фактора, что во всех сообщениях символы коррелированны между собой – это дополнительно уменьшает энтропию.