Основные понятия и определения теории информации и кодирования. Задачи теории информации и кодирования, страница 53

СООБЩЕНИЙ СТАТИСТИЧЕСКИ НЕЗАВИСИМЫ.Однако В РЕАЛЬНЫХ УСЛОВИЯХ независимость элементов сообщения - ЯВЛЕНИЕ довольно РЕДКОЕ.Например,припередаче русского текста вероятности появления отдельных букв зависят от того,какие буквы им предшествовали.Например,если передана буква "п",вероятность того,что следующей может быть "а",гораздо больше,чем вероятность того,что слндующей буквой будет "р".После буквы "ъ" никогда не ожидается появление буквы "н","ы" и т.п.

Такая зависимость между элементами образовалась исторически в процессе длительного формирования современного русского языка.

Очевидо,при определении энтропии и информации в сообщениях,элементы которых коррелированы,нельзя ограничиваться только безусловными вероятностями элементов сообщений.Необходимо учитывать и условные вероятности появления элементов.

Будем полагать,что передаётся конечное число сообщений x1,x2,x3,...,xq,xh,xi,

xj,...,xn-1,xn.Коррелятивные связи между элементами сообщений могут распространяться на различные группы элементов.Если элементы сообщений независимы,то условная вероятность передачи элемента xj будет безусловной:

p(xj/xi,xh,xq,...,x2,x1) = p(xj).

Если имеется коррелятивная связь только между двумя соседними элементами,то вероятность передачи любого элемента сообщения будет зависеть лишь от того,каков был предшествующий символ,т.е. условная вероятность передачи элемента xj

будет равна p(xi,xj).

Если коррелятивные связи охватывают три элемента сообщений,то условная вероятность передачи элемента xj будет равна p(xj/xi,xh).

Большинство сообщений в реальных условиях представляют собой последовательность у которой коррелятивные связи распространяются на конечное число элементов.При достаточной длине такой последовательности с достаточной точностью могут быть определены вероятности и услоаные вероятности появления отдельных сообщений.Язык является типичным примером такой последовательности.В любой книге на данном языке (кроме узкоспециальных) частота повторения отдельных букв и их различных сочетаний будет постоянной,независимо от содержания книги.

Пусть имеется КОРРЕЛЯТИВНАЯ СВЯЗЬ только МЕЖДУ СОСЕДНИМИ ЭЛЕМЕНТАМИ.В этом случае энтропия элемента xj будет определяться условной вероятностью p(xj/xi).

Для данного фиксированного xi энтропия сообщений будет определяться ЧАСТНОЙ

УСЛОВНОЙ ЭНТРОПИЕЙ

n

__

H(X/xi) = - >  p(xj/xi)*LOG 2 p(xj/xi).

-j=1

Выполнив усреднение по всем xi,получим выражение для СРЕДНЕЙ ЭНТРОПИИ СООБЩЕИНЯ:

n                   n        n

__                  __       __

H(X) =  >  p(xi)H(X/xi) = - >  p(xi) >   p(xj/xi)*LOG 2 p(xj/xi)=

--                  --       -i=1                 i=1      j=1

n   n

__  __

= - >   >  p(xi,xj) * LOG 2 p(xj/xi).

--  -i=1 j=1

Вслучае наличия КОРРЕЛЯТИВНЫХ связей МЕЖДУ ТРЕМЯ ЭЛЕМЕНТАМИ ЭНТРОПИЯ соодщений будет РАВНА

n   n          n

__  __         __

H(X) = - >   >  p(xi,xh)>  p(xj/xi,xh)*LOG 2 p(xj/xi,xh) =

--  --         -h=1 i=1        j=1

n   n   n

__  __  __

= - >   >   >  p(xj,xi,xh)*LOG 2 p(xj/xi,xh).

--  --  -h=1 i=1 j=1

Если коррелятивными связями охвачено большое число элементов,то энтропия определится аналогично.

При НАЛИЧИИ КОРРЕЛЯТИВНЫХ СВЯЗЕЙ между элементами ЭНТРОПИЯ сообщений,а следовательно,и КОЛИЧЕСТВО передаваемой ИНФОРМАЦИИ УМЕНЬШАЮТСЯ,причём это УМЕНЬШЕНИЕ будет ТЕМ ИНТЕНСИВНЕЕ,ЧЕМ СИЛЬНЕЕ коррелятивные СВЯЗИ и ЧЕМ БОЛЬШЕЕ ЧИСЛО

элементов будет охвачено этими связями.

ИЗБЫТОЧНОСТЬ СООБЩЕНИЙ.

Итак,средняя энтропия сообщений при одинаковом количестве элементов может быть различной в зависимости от статистических характеристик сообщений.

ЭНТРОПИЯ МАКСИМАЛЬНА,если ЭЛЕМЕНТЫ сообщений РАВНОВЕРОЯТНЫ и ВЗАИМНОНЕЗАВИСИМЫ:

H(X) = LOG 2 n.

Если поступление элементов сообщений НЕ РАВНОВЕРОЯТНО,то ЭНТРОПИЯ УМЕНЬШАЕТСЯ:

n

__

H(X)= - >  p(xi)*LOG 2 p(xi).

-i=1

ЕЩЁ МЕНЬШЕЙ будет ЭНТРОПИЯ при НАЛИЧИИ КОРРЕЛЯТИВНЫХ СВЯЗЕЙ МЕЖДУ ЭЛЕМЕНТАМИ