Информация и энтропия. Единицы их измерения. Мера количества информации. Достоинства меры Хартли

Вопрос 1

Информация и энтропия. Единицы их измерения

Мера количества информации характеризует степень уменьшения неопределенности (энтропии) об источнике сообщения.

Хартли предложил логарифмическую меру количества информации.

I – количество информации, М – число возможных сообщений

Достоинства меры Хартли:

- количество информации пропорционально длине сообщения (числу букв)

- количество информации от нескольких независимых источников равно сумме информаций от каждого источника

- удобна математически, т.к. при логарифмировании многие операции упрощаются

Недостаток меры Хартли:

- не учитывает вероятности возможных сообщений

Чем меньше вероятность события, о котором говориться в сообщении, тем оно больше несет информации.

Шеннон предложил количество информации, которое несет одна буква

I – среднее количество информации

МО – математическое ожидание

Н – энтропия совокупности букв, у которых вероятность

Если при получении сообщения неопределенность ликвидируется полностью, то I=H.

Если ликвидируется не полностью, то

Н – энтропия источника до получения сообщения

 - после

Основание логарифма определяет единицу информации:

 - троичная единица информации

 - десятичная (мера Хартли)

ln – натуральная (нат)

Вопрос 2

Основные свойства энтропии дискретных сообщений.

1. Энтропия – неотрицательная функция.

,

2. Энтропия максимальна при равновероятных сообщениях.

 при 

Таким образом, максимальное значение энтропии равно логарифму возможных букв ().

Мера Хартли является правильной ( совпадает с мерой Шеннона) когда сообщения равновероятны.

3. Энтропия независимых источников аддитивна.

X, Y – независимые источники (статистически)

Пусть источник:

, 

Найдем энтропию этих двух источников.

 - источник из 2 – х источников.

Тогда имеем:

:

4. Пусть источники и  - статистически зависимы.

Пример статистически зависимых источников: рост и вес человека.

,

Далее находим энтропию двух источников и

; - частная условная энтропия

; - условная энтропия

5. 

;

Значит источники статистически независимы.

6. 

, т.к.

Вопрос 3

Оптимальное кодирование источника. Код Шеннона-Фано. Кодовое дерево.

Кодирование при котором скорость передачи информации приближается к пропускной способности называется оптимальным, статистическим или эффективным.

Для оптимального кода нужно:

1.  Чтобы буквы большей вероятности кодировались кодовыми комбинациями. В этом случае средняя длина  кодовой комбинации будет минимальной.

2.  Оптимальный код не требует разделительных знаков.

3.  Вероятности 0 и 1 на выходе кодера должны быть примерно равны.

1.  Располагаем буквы в порядке убывания их вероятности.

2.  Все буквы делим на 2 группы с соблюдением примерного равенства суммарной вероятности этих групп

3.  Буквам верхней группы присваиваем знак 0, а нижней 1.

4.  Каждую группу разбиваем на 2 подгруппы с соблюдением примерно такого же равенства суммарной вероятности.

5.  Буквам верхней подгруппы-0, нижней-1

6.  Повторим 4 и 5, пока в каждой подгруппе не останется по 1 букве.

Вычислим среднюю длину кК:

n_ср= МО{n_i}=(x_i)n_i=

Вычислим энтропию источника сообщения:

R=C, т.к. один бит  информации кодируется одном знаком.

Чтобы код не требовал разделенных знаков, никакая его кодовая комбинация не должна быть началом другой.

Строение кода удобно изобразить в виде кодового дерева

Правило построения кодового дерева:  из каждого узла, как правило, исходное число ветвей, равное основанию кода. Шаг вправо – 0, влево – 1. Длина ветвей не имеет значения. Используемые кК обозначают кружочками. Дерево строят начиная с вершины.

Код не требует раздельных знаков, если на концах ветвей кодовые комбинации.

0,1,2

Вопрос 4

Пропускная способность дискретного канала с помехами

Канал называют дискретным, если его входные и выходные сигналы дискретны. Свойства канала определены, если заданы.

1)  Алфавиты входных и выходных сигналов.

Входные сигналы: S1, S2, …Si, …, Sm;

Выходные сигналы: S1*, S2*, …, Si*,…Sm*

В общем случае m=m*

Существует стирающий канал, в котором m*= m+1. Это сигнал неопределённости.

Пример:

Если сигнал превышает порог Е2 в момент времени , то считается, что принимается «1», если не превышает, то принят «0».Однако существуют моменты, где опред. символы с низкой надёжностью. Поэтому применяют 2 порога. При попадении сигнала в промежуток между порогами, получается неопределённость (стирающий канал).

2)Техническая скорость передачи сигнала.

     Где .

3)P (Sj*/ Si)- вероятность перехода.

Вероятность перехода удобно располагать в виде канальной матрицы: