Основные понятия и определения теории информации и кодирования. Задачи теории информации и кодирования, страница 49

└─│─│─│───────│  │────────────┘│

│ │ └───────├──┤             │

│ └─────────│& │             │

└───────────│  │─────────────┘

└──┘

Рассмотренный код может исправлять не только одиночные ошибки,но также все ошибки,которые не лежат на трёх отмеченных линиях.Таким образом,мы рассмотрели свёрточный код,в котором с помощью одного проверочного разряда можно не только обнаруживать,но также исправлять все одиночные и некоторые конфигурации кратных ошибок.Более подробно этот код описан в журнале "Электроника" (IEEE Transactions)

1981, N9.

/* В заключение отметим,что структура свёрточных кодов с трудом поддаётся анализу алгебраическими методами,поэтому в отличие от блоковых кодов в настоящее время конструктивная теория свёрточных кодов не разработана.Однако можно выделить три важнейших направления в теории и практике свёрточного кодирования:пороговое,последовательное и декодирование по максимуму правдоподобия. */

ИНФОРМАЦИОННЫЕ МОДЕЛИ СИГНАЛОВ

Всякое информационное устройство работает по единой схеме.Навход устройства подаётся совокупность сообщений x1,x2,...,xn.Задача устройства состоит в том, чтобы передать совокупность этих сообщений с достаточно высокой достоверностью,или,иными словами,чтобы перевести вектор сообщений на входе X(x1,x2,...,

xn) в соответствующий ему вектор сообщений на выходе Y(y1,y2,...,yn) без ошибок или с допустимыми ошибками.

x1 ┐     ┌────────────────┐       ┌  y1

x2 │     │ Информационное │       │  y2

.  ╞═>══>│   устройство   │ ══> <═╡  .

.  │     │                │       │  .

xn ┘     └────────────────┘       └  yn

В процессе передачи сообщение может подвергаться многочисленным преобразованиям,существеено меняющим его физические характеристики.Однако,передаваемая информация должна оставаться инвариантной при всех преобразованиях.Естественно,что количество передаваемой получателю информации связанно с неопределённостью,которая имела место относительно передаваемого сообщения.В связи с этим необходимо ввести количественную меру оценки информации и неопределённости передаваемых сообщений.

КОЛИЧЕСТВЕННАЯ ОЦЕНКА ИНФОРМАЦИИ.

ЭНТРОПИЯ КАК МЕРА НЕОПРЕДЕЛЁННОСТИ.

Фундаментальным вопросом для теории информации является вопрос о количественной мере информации.Всякая информация получается потребителем после принятия сообщения,т.е.,в результате опыта.Сообщение,получаемое на приёмной стороне, несёт полезную информацию лишь в том случае,если имеется неопределённость относительно состояния источника сообщений.

Если опыт имеет лишь один исход и не содержит никакой неопределённости,то наблюдатель заранее будет знать исход этого опыта.Врезультате осуществления такого опыта наблюдатель не получит никакой информации.

Пусть опыт имеет два равновероятных исхода.Результат контроля,например,должен указать,что контролируемый параметр находится в пределах нормы или за её пределами.Передаваемое сообщение в этом случае может принимать два значения и содержит определённую информацию.

Рассмотрим в качестве третьего примера источник напряжения,выходное напряжение которого может с одинаковой вероятностью принимать десять различных значений.В этом случае будет большая предварительная неопределённость относительно источника,а поступившее сообщение(конкретный исход опыта) даст более уточнённую характеристику состояния источника.

Рассмотрим общий случай,когда источник может передавать независимые и несовместимые сообщения x1,x2,...,xn с вероятностью p(x1),p(x2),...,p(xn)соответственно.Естественно,что чем меньше априорная вероятность события,тем большее колличество информации оно несёт.Так,например,сообщение о том,что летом температура воздуха в Крымувыше нуля,не несёт существенной информации,ибо вероятность такого события очень велика.Сообщение же о том,что температура воздуха на ЮБК в июне ниже нуля,содержит значительно больше информации,ибо такое событие является весьма редким.

Поэтому естественно предположить,что КОЛИЧЕСТВЕННОЙ МЕРОЙ НЕОПРЕДЕЛЁННОСТИ