Информация, язык, общество. Измерение информации. Энтропия и её свойства. Определение информационных потерь в каналах связи. Передача информации по дискретным каналам связи. Код Хэминга

Сибирская Аэрокосмическая Академия

Кафедра ИУС

Лекции по предмету

"Теория  информации"

Мурыгин А. В.

Красноярск 2002

Информация. Язык. Общество

Всякий организм, в том числе и общ-й скрепляется наличием средств использования, хранения и передачи информации. Очень мало стабилизирующих процессов.

Теория информации развивалась как наука в конце 40-х г.г. В её основу положены труды Шеннона, Винера, Колмогорова, Котельникова. Это полуматематическая наука, т.е. прикладное приложение к математике.

Измерение информации

Важным вопросом в теории  информации является установленные меры информации. В качестве меры информации выделяют структурные и статические меры. Структурные меры рассматривают дискретное строение массивов информации и измеряют информацию подсчётом числа возможных информационных измерений. Статические методы учитывают вероятность появления информационных символов и в качестве меры информации используют понятие энтропия – мера неопределённости состояния систем.

Структурный метод

Структурные методы имеют дело с информационными массивами. Массив информации представим в виде кубика.

			n – длина передаваемого числа; m – глубина числа; Поле – набор из элементов чисел m из гнезда выдвигаются нужное число,

 

а число определено.

	n

поле

Все ячейки называются числовой грядой (один слой). Совокупность слоев – это поле.

Количество чисел, которое может быть представлено с помощью одной числовой гряды:    

В 1928г американец Хартли предложил использовать логическую меру: - это мера информации по Хартли (аддитивная мера по Хартли) количество информации, измеренное такой мерой, измеряется в битах (это название даёт основание log₂). Если глубина числа m = 2 – это двоичная мера информации (0 или 1), если m = 1, то кол-во информации равно один бит. Это соответствует одному элементарному событию.

Статический метод

Обычно элементы сообщений не равновероятны, и это обстоятельство влияет на количество переданной информации. Пусть имеется алфавит из m элементов h₁, h₂, …,h_m – элементы алфавита. Вероятности появления символов равны p₁, p₂, …,p_m. Составим из этих элементов сообщения, содержащее n элементов. Среди них будут n₁ элементов h₁, n₂ элементов h₂, … n_m элементов h_m .

Предположим, что появление каждого элемента независимое событие. Тогда вероятность появления определённой комбинации выражается произведением единичных вероятностей отдельных элементов и эту вероятность можно записать:

При достаточно большой длине числа n, можно считать, что n_i определяется как p_i*n. Кроме того можно считать, что все сообщения равновероятны, тогда вероятность отдельного сообщения:

 N – количество переданных сообщений;               

I = log₂N – количество информации                =

Кол-во информации, отнесённое к одному символу

- энтропия

Такая мера информации была введена Шенноном. Количество информации по Шеннону определяется как I. Измеряется [бит/символ]. Она характеризует количество переданной информации при неравновероятности появления символов и характеризует неопределённость состояния сообщения.

Энтропия  и  её свойства

Рассмотрим некоторую систему, которую обозначим за X, котороя может принимать конечное множество состояний x₁, x₂, …,x_n (пример: алфавит  x₁,..,x_n - буквы). Вероятность появления символов p₁, p₂, .. ,p_n.

Свойства:

1) Энтропию системы X -  - всегда больше нуля. Это следует из того, что log₂ p_i – отр., p_i меньше единицы и – на - , даёт плюс.

2) Энтропия обращается в 0, когда одно из состояний достоверно, а другие невозможны, т.е. какая-то из вероятностей будет равна единице, логорифм даст ноль, следовательно, Н(x) = 0.

3) Обращается в максимальное, когда все состояния равновероятны.

4) Энтропия обладает свойством аддитивности, кода несколько систем объединяются в одну, их энтропии складываются.

Рассмотрим простейший случай. Система имеет два состояния и эти состояния равновероятны.

H(x) = - (0.5 log 0.5 + 0.5 log 0.5) = 1 бит/символ   xi	x1	x2
p1	0.5	0.5

Определить энтропию системы X, которая имеет n равновероятных состояний

- log 1 + log n = log n   xi	x1	x2 …	xn
pi		…

- это частный случай, когда все вероятности одинаковы.

Пример: Система X имеет восемь состояний. Определить энтропию. (состояния равновероятны)

n = 8                                 

                

Пример:   Определить H, состояние которой описывается таблицей.