Основные понятия и определения теории информации и кодирования. Задачи теории информации и кодирования, страница 52

3.УСЛОВНАЯ ЭНТРОПИЯ может изменяться в пределах

0 <= H(Y/X) <= H(Y).

4.Для СОВМЕСТНОЙ ЭНТРОПИИ всегда справедливо соотношение

H(X,Y) <= H(X) + H(Y).

КОЛИЧЕСТВО ИНФОРМАЦИИ ПРИ НЕПОЛНОЙ ДОСТОВЕРНОСТИ СООБЩЕНИЙ.

ВЗАИМНАЯ ИНФОРМАЦИЯ.

В реальных условиях передача сообщений происходит при воздействии помех.Помехи искажают сообщения,вследствие чего они на приёмной строке будут в той или иной степени отличаться от переданных,т.е.будет иметь место неполная достоверность передачи.Оценим количество передаваемой при этом информации для случаев дискретных сообщений.

Вследствие отличия принимаемых сообщений от передаваемых,при оценке количества передаваемой информации целесообразнее рассматривать две системы:систему передаваемых X исистему принимаемых сообщений Y.

Пусть передаваемое сообщение может принимать значения x1,x1,...,xn с априорными вероятностями соответственно p(x1),p(x2),...,p(xn).

Принимаемые значения характеризуются совокупностью значений y1,y2,...,yn.

Наличие помех нарушает однозначное соответствие между передаваемыми и принимаемыми сообщениями.Так как помехи имеют случайный характер,то при приёме какого-либо сообщения yj невозможно точно установить,какое сообщение было передано.Можно говорить лишь об условной вероятности p(xi/yj),определяющейвероятность передачи сообщения xi при условии,что будет принято сообщение yj.

Оценим количество информации,которое содержится в одном из принятых сообщений yj об одном из переданных сообщений xi.

Условная вероятность p(xi/yj) свидетельствует о том,что имеется неопределённость в сообщении yj относительно сообщения xi.Эта неопределённость может быть оценена условной энтропией

H(xi/yj) = - LOG 2 p(xi/yj).

Таким образом,вследствие воздействия помех начальная априорная энтропия сообщения xi,определяемая количественно выражением H(xi) = - LOG 2 p(xi),снимается при получении сообщения yj не полностью,а лишь уменьшается до значения

H(xi/yj).

Количество получаемой информации в этом случае будет равно снятой части неопределённости:

I(yj,xi) = H(xi) - H(xi/yj) = LOG 2 p(xi/yj)/P(xi).

Это выражение определяет количество информации,которое содержится в принятом сообщении yj относительно переданного xi.Это количество информации принято называть ЧАСТНЫМ КОЛИЧЕСТВОМ ИНФОРМАЦИИ,содержащимся в сообщении yj относительно сообщения xi.

Среднее количество информации о всех xi,содержащееся в одном принятом сообщении yj,можно получить путём усреднения по всем xi

n

__

I(yj,X)= >  p(xi/yj)I(yj,xi)

-i=1

Эта формула выражает ЧАСТНОЕ КОЛИЧЕСТВО ИНФОРМАЦИИ,содержащееся в принятом сообщении yj относительно всей совокупности переданных сообщений X.

Наконец,для того,чтобы определить количество информации,содержащееся во всей совокупности переданных сообщений X,необходимо осуществить усреднение по всем yj

n

__

I(Y,X)= >  p(yj)I(yj,X).

-j=1

Учитывая равенства p(yj)p(xi/yj)=p(xi,yj) и

n

__

>  p(yj/xi)=1 путём математических преобразований,получаем

-i=1

I(Y,X) = H(X) - H(X/Y).

Таким образом,СРЕДНЕЕ КОЛИЧЕСТВО ИНФОРМАЦИИ,получаемое при неполной достоверности сообщений,равно разности безусловной энтропии H(X),характеризующей начальную (априорную) неопределённость сообщений.

Используя свойство условной энтропии

H(X/Y) = H(X,Y) - H(Y), получаем

I(Y,X) = H(X) + H(Y) - H(X,Y).

Следовательно,количество передаваемой информации может быть выражено через сумму энтропий передаваемого X и принимаемого Y сообщений,за вычетом совместной энтропии H(X,Y).

Так как H(X,Y) = H(Y,X),то

H(X)+H(Y/X)=H(Y)+H(X/Y),или H(X)-H(X/Y)=H(Y)-H(Y/X).

Из последнего равенства следует,что

I(Y,X) = I(X,Y), т.е.количество информации,которое содержится в сообщении Y относительно сообщения X,равно количеству информации,содержащемуся в X относительно Y.Поэтому

I(Y,X) и I(X,Y) называют также ПОЛНОЙ ВЗАИМНОЙ ИНФОРМАЦИЕЙ.

ЭНТРОПИЯ И КОЛИЧНСТВО ИНФОРМАЦИИ ПРИ СТАТИСТИЧЕСКОЙ ЗАВИСИМОСТИ ЭЛЕМЕНТОВ

СООБЩЕНИЙ.

При определении энтропии и количества информации предполагалось,что ЭЛЕМЕНТЫ