Основные понятия и определения теории информации и кодирования. Задачи теории информации и кодирования, страница 50

отдельного сообщения,а такжепередаваемой им ИНФОРМАЦИИ может быть ВЕЛИЧИНА,

ОБРАТНАЯ его априорной ВЕРОЯТНОСТИ 1/p(xi).Однако такая мера неудобна тем, что в случае,когда опыт будет иметь только один исход,т.е.вероятность такого события равна единице,количество информации,согласно принятой мере, равно единице.Вдействительности же результат такого опыта не даёт  никакой информации.Кроме того,такая мера не обладает свойством аддитивности.

Действительно,если имеет место сложное событие,состоящее из двух независимых событий xi и xj,то вероятность такого события будет спределяться произведением вероятностей p(xi)*p(xj).Количество информации в сложном сообщении должно оцениваться величиной 1/[p(xi)p(xj)].С этой точки зрения БОЛЕЕ УДОБНОЙ является ЛОГАРИФМИЧЕСКАЯ МЕРА количества информации:

I(xi)=LOG a 1/p(xi).

При этом количество информации,содержащееся в сложном сообщении,представляющем совокупность событий xi и xj,будет равно

I(xi,xj)=LOG a 1/p(xi)*p(xj)=LOG a 1/p(xi)+LOG a 1/p(xj)=I(xi)+I(xj).

ЛОГАРИФМИЧЕСКАЯ МЕРА,как видно,ОБЛАДАЕТ СВОЙСТВОМ АДДИТИВНОСТИ.Кроме того, эта мера в случае событий с одинаковым исходом даёт нулевое значение количества информации.

Выражение для I(xi) характеризует количкство информации,содержащееся в сообщении xi.Оно характеризует также априорную неопределённость этого сообщения и может быть использовано для количественной оценки неопределённости сообщения.

H(xi)=LOG a 1/p(xi)

Эту величину,характеризующую неопределённость отдельного (i-го)сообщения, принято называть ЧАСТНОЙ ЭНТРОПИЕЙ.

Количество информации и неопределённость для всей совокупности случайных сообщений можно получить усреднением по всем событиям:

n                        n

__                       __

I(x)= >  p(xi) LOG a 1/p(xi)=- >  p(xi) LOG a p(xi),

--                       -i=1                      i=1

n

__

H(x)=- >  p(xi) LOG a p(xi).

-i=1

Эти зависимости выражают среднее на одно событие количество информации и энтропии.Термин "энтропия" заимствован из термодинамики,где аналогичное выражение характеризует среднюю неопределённость состояния систнмы молекул вещества.

Несмотря на совпадение зависимостей,ЭНТРОПИЯ H(x) и КОЛИЧЕСТВО ИНФОРМАЦИИ

I(x) ПРИНЦИПИАЛЬНО РАЗЛИЧНЫ.H(x),выражающая СРЕДНЮЮ НЕОПРЕДЕЛЁННОСТЬ состояния источника сообщений является объективной характеристикой источника сообщений,и,если известна статистика сообщений,может быть вычислена АПРИОРНО,т.е.до получения сообщения,I(x)является АПОСТЕРИОРНОЙ характеристикой и определяет

КОЛИЧЕСТВО ИНФОРМАЦИИ,получаемое с поступлением сообщений.H(x) есть мера недостатка информации о состоянии отдельной системы.С поступлением информации о состоянии системы энтропия последней снижается.

Совпадение выражения для I(x) с выражением для H(x) свидетельствует лишь о том,что количество получаемой информаци равно численно энтропии,которая имела место относительно источника сообщений.

ЕДИНИЦЫ ИЗМЕРЕНИЯ КОЛИЧЕСТВА ИНФОРМАЦИИ И ЭНТРОПИИ зависят от выбора основания логарифма в формулах.При использовании десятичных логарифмов количество информации и энтропия определяются в десятичных единицах-дитах.Вслучае использования двоичных логарифмов количество информации и энтропия определяются в двоичных единицах-битах.Наконец,использовании натуральных логарифмов единицей измерения является натуральных единица-нит.

При анализе информационных процессов в ЭВМ и других устройствах,функционирующих на основе двоичной системы счисления,удобно пользоваться двоичными единицами.В математических выкладках удобно пользоваться натуральными едини-цами.

Мера количества информации в приведённом виде впервые была предложена Клодом

Шеноном в 1948 году.

СВОЙСТВА ЭНТРОПИИ ДИСКРЕТНЫХ СООБЩЕНИЙ

БЕЗУСЛОВНАЯ ЭНТРОПИЯ

n

__

H(x)=- >  p(xi) LOG a p(xi).

-i=1

Эта формула выражает энтропию дискретных сообщений (энтропию Шенона).

Энтропия Шенона обладает следующими СВОЙСТВАМИ: