Изучение методов решения разнообразных задач, возникающих при передаче информации от ее источника к получателю, страница 16

В простейшем случае, когда объем алфавита источника  равен основанию кода , можно сопоставить каждый кодовый символ букве источника. Такое кодирование применяют, например, во флоте при сигнализации флагами различной формы и цвета. Чаще применяют более сложные коды, назначение которых состоит в согласовании источника сообщений с дискретным каналом по объему алфавита и избыточности.

Согласование по объему алфавита необходимо всегда, когда . Обычно , поэтому каждый знак источника кодируется несколькими кодовыми символами. Например, в телеграфном коде Бодо каждая буква русского алфавита кодируется кодовым словом из 5 двоичных символов (0 и 1), в телеграфном коде Морзе – от 2 до 6 символов (точка, тире, пробел).

Рассмотрим согласование источника с каналом по избыточности. Пусть случайное сообщение  заменяется кодовой последовательностью . Поскольку кодирование обратимо, то

.

Это означает, что энтропия при кодировании не изменяется. Иначе обстоит дело с избыточностью, определяющей соотношение между энтропией и ее максимальным значением при данном алфавите. При кодировании избыточность может как возрастать, так и уменьшаться.

Если избыточность источника велика, т.е.

то может стоять задача уменьшения, либо устранения избыточности при кодировании. Это задача эффективного кодирования.

В теории информации доказана следующая теорема кодирования для источника: передавая двоичные символы со скоростью v_к  символов в секунду, можно закодировать сообщения так, чтобы передавать их со скоростью v_c=v_к /H(A)-e сообщений в секунду, где e – сколь угодно малая величина.

Это означает, что для возможности кодирования и декодирования сообщения необходимо, чтобы среднее число двоичных символов на сообщение было не меньше энтропии:

.

Согласно теореме осмысленный русский текст можно передавать, затрачивая всего 1,5 двоичных символа на букву вместо пяти при равномерном коде.

Кодовая последовательность с устраненной избыточностью обладает следующими свойствами:

– В любом месте такой последовательности символы появляются равновероятно и независимо от значений других символов.

– Если под воздействием помех в кодовой последовательности возникли ошибки, то никаких признаков ошибочности такая последовательность не имеет. При передаче безызбыточных последовательностей по каналу с ошибками любая принятая последовательность соответствует возможному сообщению, но полной уверенности в том, что именно это сообщение было передано, у получателя нет. Ошибочный прием всего одного кодового символа может до неузнаваемости изменить сообщение. Поэтому эффективное кодирование используют только тогда, когда кодовая последовательность не подвергается действию помех.

Избыточность в передаваемом сообщении позволяет в некоторых случаях обнаруживать и исправлять ошибки. Так необходимость разговаривать при воздействии акустических помех привела к тому, что все языки имеют избыточность .

Если при кодировании не устранять, а вводить избыточность, то должны увеличиться возможности обнаружения и исправления ошибок. Такое кодирование называется помехоустойчивым или корректирующим. При помехоустойчивом кодировании обычно считают, что избыточность источника на входе кодера равна нулю. Для этого имеются все основания: во-первых, очень многие источники (например, ЭВМ) обладают малой избыточностью; во-вторых, избыточность порождается сложными связями, которые в месте приема трудно использовать для повышения верности. При существенной избыточности источника разумно сначала ее уменьшить путем эффективного кодирования, а затем путем помехоустойчивого кодирования внести в сигнал такую избыточность, которая позволит достаточно  простыми средствами поднять верность.