Основные понятия и определения теории информации и кодирования. Задачи теории информации и кодирования, страница 54

сообщений (для случая связи двух элементов - формула):

n   n

__  __

H(X) = - >   >  p(xi,xj) * LOG 2 p(xj/xi).

--  -i=1 j=1

СООБЩЕНИЯ,ЭНТРОПИЯ КОТОРЫХ МАКСИМАЛЬНА,являются ОПТИМАЛЬНЫМИ с точки зрения наибольшего количества передаваемой информации.

Мерой количественной оценки того,насколько данное реальное сообщение по своей энтропии отличается от соответствующего ему оптимального сообщения,является КОЭФФИИЦЕНТ СЖАТИЯ:

M = H(X) / H(X)max

Если неоптимальное и оптимальное сообщения характеризуются одинаковой общей энтропией,то справедливо равенство

n H(X) = n`H(X)max, где n - число элементов неоптимального сообщения;

n`- число элементов соответствующего оптимального.

Так как средняя на элемент энтропия оптимального сообщения максимальна,то число элементов неоптимального сообщения всегда будет больше числа элементов соответствующего ему оптимального сообщения.

Коэффициент сжатия можно выразить через количество элементов сообщений:

M = H(X) / H(X)max = n`/ n.

Таким образом,реальные сообщения при одинаковой информативности лбладают определённой ИЗБЫТОЧНОСТЬЮ в элементах по сравнению с оптимальными сообщениями.

МЕРОЙ КОЛИЧЕСТВЕННОЙ ОЦЕНКИ ИЗБЫТОЧНОСТИ является КОЭФФИЦИЕНТ ИЗБЫТОЧНОСТИ:

K изб = ( n - n`) / n = [H(X)max - H(X)] / H(X)max = 1 - M.

ИЗБЫТОЧНОСТЬ ПРИВОДИТ К УВЕЛИЧЕНИЮ ВРЕМЕНИ ПЕРЕДАЧИ СООБЩЕНИЙ,ИЗЛИШНЕЙ ЗАГРУЗКЕ КАНАЛА СВЯЗИ.Однако не всегда нужно стремиться к тому,чтобы избыточность K изб = 0.Некоторая ИЗБЫТОЧНОСТЬ БЫВАЕТ ПОЛЕЗНОЙ для обеспечения требуемой НАДЁЖНОСТИ систем,повышения ПОМЕХОУСТОЙЧИВОСТИ передачи сообщений.

Имеется определённая избыточность и в русском языке.Оценка статистики русского языка показывает следующее.

Средняя вероятность повторения отдельных букв в русском языке:

┌──────────────────┬──────────────────────────────────────────────┐

│ Буквы            │ О      Е       А       И       Т       Н     │

│ Вероятность повт.│ 0.11   0.087   0.075   0.075   0.065   0.065 │

├──────────────────┼──────────────────────────────────────────────┤

│ Буквы            │ Л      К       Ц       Щ       Э       Ф     │

│ Вероятность повт.│ 0.042  0.034   0.005   0.004   0.003   0.002 │

└──────────────────┴──────────────────────────────────────────────┘

Русский алфавит содержит 31 букву (при условии,если не различать буквы "е" и

"ё",а также "ь" и "ъ").С учётом пробела между буквами,русский язык обладает 32

символами.

При условии равновероятности и независимости символов,средняя энтропия на символ будет максимальна и равна

H(X)max = LOG 2 32 = 5 (дв.ед./симв.)

Если учесть различную вероятность символов

H1(X) = 4.39 (дв.ед./симв.).

С учётом корреляции между двумя символами энтропия уменьшается до значения

H2(X) = 3.52 (дв.ед./симв.), между тремя символами - до значения

H3(X) = 3.05 (дв.ед./симв.), между восемью символами - до значения

H8(X) = 2 (дв.ед./симв.), и дальше остаётся неизменной.

Следовательно,избыточность русского языка составляет

K изб = [H(X)max - H(X)] / H(X)max = ( 5 - 2 ) / 5 = 0.6.

Следует отметить,что у всех европейских языков избыточность примерно одинакова.Избыточность разговорных языков сформировалась в результате очень длительной общественной практики и позволяет восстанавливать целые слова и фразы при их искажениях под воздействием различных мешающих факторов.

ПОМЕХОУСТОЙЧИВОСТЬ,ЭФФЕКТИВНОСТЬ И НАДЁЖНОСТЬ ПЕРЕДАЧИ ИНФОРМАЦИИ.

Любая система информации характеризуется такими показателями,как помехоустойчивость,эффективность и надёжность.

ПОМЕХОУСТОЙЧИВОСТЬ.

ПОМЕХОУСТОЙЧИВОСТЬЮ называется способность системы осуществлять приём информации в условиях наличия помех в линиях связи.

Под ПОМЕХАМИ понимаются любые возмущения в канале передачи информации,вызывающие случайные отклонения принятого сообщения от переданного.

Помехи обычно классифицируются по месту их возникновения,по статическим свойствам и по характеру воздействия на полезный сигнал.

ПО МЕСТУ ВОЗНИКНОВЕНИЯ помехи можно разделить на ВНЕШНИЕ и ВНУТРЕННИЕ.