Информация, язык, общество. Измерение информации. Энтропия и её свойства. Определение информационных потерь в каналах связи. Передача информации по дискретным каналам связи. Код Хэминга

Страницы работы

Содержание работы

Сибирская Аэрокосмическая Академия

Кафедра ИУС

Лекции по предмету

"Теория  информации"

Мурыгин А. В.

Красноярск 2002


Информация. Язык. Общество

Всякий организм, в том числе и общ-й скрепляется наличием средств использования, хранения и передачи информации. Очень мало стабилизирующих процессов.

Теория информации развивалась как наука в конце 40-х г.г. В её основу положены труды Шеннона, Винера, Колмогорова, Котельникова. Это полуматематическая наука, т.е. прикладное приложение к математике.

Измерение информации

Важным вопросом в теории  информации является установленные меры информации. В качестве меры информации выделяют структурные и статические меры. Структурные меры рассматривают дискретное строение массивов информации и измеряют информацию подсчётом числа возможных информационных измерений. Статические методы учитывают вероятность появления информационных символов и в качестве меры информации используют понятие энтропия – мера неопределённости состояния систем.

Структурный метод

Структурные методы имеют дело с информационными массивами. Массив информации представим в виде кубика.

 

n – длина передаваемого числа;

m – глубина числа;

Поле – набор из элементов чисел m из гнезда выдвигаются нужное число,

 
 


а число определено.

n

 

поле

 


Все ячейки называются числовой грядой (один слой). Совокупность слоев – это поле.

Количество чисел, которое может быть представлено с помощью одной числовой гряды:    

В 1928г американец Хартли предложил использовать логическую меру: - это мера информации по Хартли (аддитивная мера по Хартли) количество информации, измеренное такой мерой, измеряется в битах (это название даёт основание log2). Если глубина числа m = 2 – это двоичная мера информации (0 или 1), если m = 1, то кол-во информации равно один бит. Это соответствует одному элементарному событию.

Статический метод

Обычно элементы сообщений не равновероятны, и это обстоятельство влияет на количество переданной информации. Пусть имеется алфавит из m элементов h1, h2, …,hm – элементы алфавита. Вероятности появления символов равны p1, p2, …,pm. Составим из этих элементов сообщения, содержащее n элементов. Среди них будут n1 элементов h1, n2 элементов h2, … nm элементов hm .

Предположим, что появление каждого элемента независимое событие. Тогда вероятность появления определённой комбинации выражается произведением единичных вероятностей отдельных элементов и эту вероятность можно записать:

При достаточно большой длине числа n, можно считать, что ni определяется как pi*n. Кроме того можно считать, что все сообщения равновероятны, тогда вероятность отдельного сообщения:

 N – количество переданных сообщений;               

I = log2N – количество информации                =

Кол-во информации, отнесённое к одному символу

- энтропия

Такая мера информации была введена Шенноном. Количество информации по Шеннону определяется как I. Измеряется [бит/символ]. Она характеризует количество переданной информации при неравновероятности появления символов и характеризует неопределённость состояния сообщения.

Энтропия  и  её свойства

Рассмотрим некоторую систему, которую обозначим за X, котороя может принимать конечное множество состояний x1, x2, …,xn (пример: алфавит  x1,..,xn - буквы). Вероятность появления символов p1, p2, .. ,pn.

Свойства:

1) Энтропию системы X -  - всегда больше нуля. Это следует из того, что log2 pi – отр., pi меньше единицы и – на - , даёт плюс.

2) Энтропия обращается в 0, когда одно из состояний достоверно, а другие невозможны, т.е. какая-то из вероятностей будет равна единице, логорифм даст ноль, следовательно, Н(x) = 0.

3) Обращается в максимальное, когда все состояния равновероятны.

4) Энтропия обладает свойством аддитивности, кода несколько систем объединяются в одну, их энтропии складываются.

Рассмотрим простейший случай. Система имеет два состояния и эти состояния равновероятны.

H(x) = - (0.5 log 0.5 + 0.5 log 0.5) = 1 бит/символ

 
xi

x1

x2

p1

0.5

0.5

Определить энтропию системы X, которая имеет n равновероятных состояний

 - log 1 + log n = log n

 
xi

x1

x2 …

xn

pi

- это частный случай, когда все вероятности одинаковы.

Пример: Система X имеет восемь состояний. Определить энтропию. (состояния равновероятны)

n = 8                                 

                

Пример:   Определить H, состояние которой описывается таблицей.

Похожие материалы

Информация о работе