Основные понятия и определения теории информации и кодирования. Задачи теории информации и кодирования, страница 7

Итак,получили УПРОЩЁННУЮ МОДЕЛЬ СИСТЕМЫ СВЯЗИ.Следует особо отметить,что эта же самая МОДЕЛЬ описывает и СИСТЕМУ ХРАНЕНИЯ ИНФОРМАЦИИ,если среду,в которой хранится информация,рассматривать как канал.

┌──────────────────┐

Источник ┌─────┐    │Канал или среда,  │    ┌───────┐

────────>│Кодер│───>│в которой хранится│───>│Декодер│──>Получатель

└─────┘    │информация        │    └───────┘

└──────────────────┘

И в заключение,рассмотрим две МОДЕЛИ КАНАЛОВ.

Q                                Q

1 ──────────── 1                 1 ───────────── 1

\          /                     \

\      / P                        \ P

\  /                               \

/\                                / X

/    \  P                         / P

/        \                        /

0 ──────────── 0                 0 ───────────── 0

Q                                Q

Двоичный симметричный            Двоичный стирающий канал.                           канал.

Для ДВОИЧНОГО СИММЕТРИЧНОГО КАНАЛА задаётся вероятность Q того,что полученный символ совпадает с переданным.P = 1 - Q - вероятность получения противоположного символа.Предполагается,что Q > P и каждый символ не зависит от всех других(Такие каналы называются каналами без памяти).Заметим,что этот канал в общем случае включает в себя модулятор,собственно канал и демодулятор (МОЖЕТ включать).

Для ДВОИЧНОГО СТИРАЮЩЕГО КАНАЛА задаётся вероятность Q того,что будет получен тот же символ,который передавался,и вероятность P =

= 1 - Q того,что передаваемый символ стёрт.(Стёртый символ обозначается через Х).Воздействия канала на различные символы предполагаются независимыми.Заметим,что на выходе этого канала известны наложения искажённых символов;при этом обычно ИСПРАВЛЕНИЕ СТИРАНИЙ ОКАЗЫВАЕТСЯ БОЛЕЕ ЛЁГИМ,чем ИСПРАВЛЕНИЕ ОШИБОК.Обобщения стирающего включают недвоичный стирающий канал и канал со стираниями и ошибками.Этот канал обязательно включает в себя модулятор и демодулятор:

демодулятор выдаёт в сомнительных случаях символ,соответствуящий стиранию и отличный от 0 и 1.

Поскольку исправление стираний оказывается более лёгким,чем исправление ошибок,в дальнейшем мы будем рассматривать только двоичный симметричный канал.

П О М Е Х О У С Т О Й Ч И В О Е   К О Д И Р О В А Н И Е .

Помехоустойчивые коды - одно из наиболее эффективных средств обеспечения высокой достоверности передачи дискретной информации.Создана специальная теория помехоустойчивости кодирования,быстро развивающаяся в последнее время.

Бурное развитие теории помехоустойчивого кодирования связано с внедрением вычислительных систем,у которых обработка принимаемой информации осуществляется без участия человека.Использование для обработки информации ЭЦВМ предъявляет очень высокие требования к достоверности передачи сообщений.

История помехоустойчивого кодирования началась в 1948г.публикацией знаменитой статьи Клода Шеннона.Шеннон показал,что с каждым каналом связано измеряемое в битах в секунду и называемое ПРОПУСКНОЙ СПОСОБНОСТЬЮ канала число C,имеющее определённое значение.Если требуемая от системы связи скорость передачи информации R (измеряемая в битах в секунду)меньше C,то используя коды,исправляющие ошибки,для данного каала можно построить такую систему связи,что вероятность ошибки на выходе будет сколь угодно мала.Всамом деле,из шенноновской теории информации следует тот важный вывод,что построение слишком хороших каналов является расточительством;экономически выгоднее использовать кодирование.В теореме Шеннона не говорится о том,как найти подходящие коды,а лишь доказано их существование.Это явилось стимулом к разработке помехоустойчивых кодов.

Под ПОМЕХОУСТОЙЧИВЫМИ КОДАМИ понимают коды,позволяющие обнаруживать или обнаруживать и исправлять ошибки,возникающие в результате влияния помех.

Помехоустойчивое кодирование обеспечивается за счёт введение избыточности в кодовые комбинайии,т.е.за счёт того,что не все символы в кодовых комбинациях используются для передачи информации.

П Р И Л О Ж Е Н И Я   П О М Е Х О У С Т О Й Ч И В Ы Х   К О Д О В.