Основные понятия и определения теории информации и кодирования. Задачи теории информации и кодирования, страница 51

1.Энтропия есть величина вещественная,ограниченная и неотрицательная.Это следует из формулы,так как вероятности p(xi) есть величины неотрицательные,заключённые в промежутке 0 < = p(xi) < = 1.

2.Энтропия детерминированных сообщений равна нулю.

3.Энтропия максимальна,если сообщения равновероятны.

В случае n равновероятных сообщений их вероятности

p(x1)=p(x2)=...=p(xn)=1/n

При этом энтропия сообщений будет равна

n

__

H(x)max = - >  1/n LOG 2 1/n = LOG 2 n.

-i=1

Как видно из этого выражения,в случае равновероятных событий энтропия возрастает с увеличением количества событий.

4.Энтропия системы двух альтернативных событий может изменяться в пределах от нуля до единицы.

Энтропия системы двух событий

H(x)=-p(x1)LOG 2 p(x1)-p(x2)log 2 p(x2)=-p(x1)LOG 2 p(x1)-[1-p(x1)]LOG 2 [1-p(x1)].

Из последнего выражения видно,что энтропия равна нулю при

p(x1) = 0; p(x2) = 1, или             p(x1) = 1; p(x2) = 0.

Максимум энтропии будет иметь место,когда

p(x1) = p(x2).

При этом максимальное значение энтропии

H(x)max = - 1/2LOG 2 1/2 - 1/2LOG 2 1/2 = 1 бит.

Таким образом,можно утверждать,что один бит (одна двоичная единица) - это энтропия системы двух равновероятных независимых событий.

На рисунке представлена графически зависимость энтропии бинарных событий от от вероятности одного из событий.

^

H(x1), │_ _ _ _ _

дв.ед. 1│      / │ \

│     /     \

│    /   │   \

│   /         \

│  /     │     \

│ /             \

│/       │       \

└───────────────────────>

0       0.5       1     p(x1)

ЭНТРОПИЯ СЛОЖНЫХ СООБЩЕНИЙ

ЭНТРОПИЯ ОБЪЕДИНЕНИЯ,УСЛОВНАЯ ЭНТРОПИЯ.

При решении задач передачи информации часто имеют дело с несколькими источниками,дающими зависимые сообщения.СОВОКУПНОСТЬ СООБЩЕНИЙ,вырабатываемых НЕСКОЛЬКИМИ ИСТОЧНИКАМИ,называют СЛОЖНЫМ СООБЩЕНИЕМ.

Пусть имеется два источника сообщений.Сообщения первого источника принимают значения x1,x2,...,xn с вероятностями p(x1),p(x2),...,p(xn) и сообщения второго источника принимают значения y1,y2,...,yn с вероятностями p(y1),p(y2),

...,p(ym).

СОВМЕСТНУЮ ЭНТРОПИЮ совокупности сообщений X и Y (ЭНТРОПИЮ ОБЪЕДИНЕНИЯ) можно представить в виде

n  m

__ __

H(X,Y)= - >  >  p(xi,yj)*LOG 2 p(xi,yj),

-- -i=1 j=1

где p(xi,yj)-вероятность совместного появления сообщений xi и yj.

Учитывая,что совместная вероятность может быть представлена в виде

p(xi,yj) = p(xi) * p(yi / xi), где p(yi / xi)-условная вероятность сообщения yj при условии,что поступило сообщение xi,выражение для энтропии объединения путём математических преобразований можно представить в виде

n

__

H(X,Y)= H(X)+ >  p(xi)*H(Y/xi),

-i=1

m

__

где     H(Y/xi)=->  p(yi,xj)*LOG 2 p(yi,xj) -так называемая ЧАС-j=1

ТНАЯ УСЛОВНАЯ ЭНТРОПИЯ,выражающая энтропию сообщения Y при условии,что имело место сообщение X.

n

__

Выражение            >  p(xi)*H(Y/xi) представляет собой усреднение H(Y/xi)

-i=1

по всем сообщениям x1,x2,...,xn и называемая СРЕДНЕЙ УСЛОВНОЙ ЭНТРОПИЕЙ СООБЩЕНИЯ Y при условии поступления сообщения X.Обозначив его через H(Y/X),окончательно получаем

H(X,Y)= H(X) + H(Y/X).

ОСНОВНОЙ СМЫСЛ УСЛОВЕОЙ ЭНТРОПИИ H(Y/X) состоит в том,что она показывает,какую энтропию дают сообщения Y,когда уже известна энтропия сообщений X.

Из очевидного равенства H(X,Y) = H(Y,X) получим H(X,Y) = H(Y) + H(X/Y).

Таким образом, СОВМЕСТНАЯ ЭНТРОПИЯ двух сообщений РАВНА СУММЕ БЕЗУСЛОВНОЙ

ЭНТРОПИИ  одного из сообщений и УСЛОВНОЙ ЭНТРОПИИ второго сообщения.

При некотором множестве сообщений X,Y,Z,...совместная энтропия

H(X,Y,Z,...)=H(X)+H(Y,Z,.../X)=H(Y)+H(X,Z,.../Y)=H(Z)+H(X,Y.../Z)=...

ОСНОВНЫЕ СВОЙСТВА энтропии сложных сообщений (ЭНТРОПИИ ОБЪЕДИНЕНИЯ):

1.При СТАТИЧЕСКИ НЕЗАВИСИМЫХ СООБЩЕНИЯХ X и Y совместная энтропия равна сумме энтропий сообщений

H(X,Y)= H(X) + H(Y), так как в этом случае H(Y/X) = H(Y).

2.При ПОЛНОЙ СТАТИЧЕСКОЙ ЗАВИСИМОСТИ СООБЩЕНИЙ X и Y совместная энтропия равна безусловной энтропии одного из сообщений,т.к. в этом случае

H(Y/X)=0  и  H(X/Y)=0;

H(X,Y)= H(X) = H(Y).