Информация, язык, общество. Измерение информации. Энтропия и её свойства. Определение информационных потерь в каналах связи. Передача информации по дискретным каналам связи. Код Хэминга, страница 11

Имеет источник информации, приёмник информации.

Разложение выполним в виде диаграммы

Правильный приём

Искажение

Канал такого типа называют симметричным бинарным, (т.к. два числа)

 

Определим среднюю условную энтропию

- , т.е потери не будут зависеть от характерис-тики источника

¬ объединили

, получим, что

Учитывая, что

Поэтому

Пропускная способность канала

Рассмотрим два крайних условия:

1. Вероятность искажения (Р=0), следовательно, помех нет, следовательно, С = v_x и она имеет свое максимальное значение

2. Р=1/2. Значение С = 0 – это минимальное значение пропускной способности

Пример:  Определить пропускную способность канала связи, способного передавать 100 симв./сек . Каждый символ искажается с вероятностью  0,01.

Теорема о кодировании Шеннона для

дискретного канала с помехами

Если источник информации имеет энтропию H(z), а канал обладает пропускной способностью С, то:

1. Сообщение, вырабатываемое источником, всегда можно закодировать так, чтобы скорость передачи v_z была близка величине v_{z max.}

И чтобы при этом вероятность ошибки в определении переданного символа была меньше заданного числа.

2. Не существует метода кодирования, позволяющего вести передачу со скоростью выше

v_{z max} и с малой вероятностью ошибки.

То есть, если H’(z) ≤ C, то может быть подобран специальный код, позволяющий вести передачу с малой вероятностью ошибки. Если H’(z) > C то такого кода не существует.

Очевидно, что при уменьшении скорости передачи, можно повысить достоверность, например, методом многократного повторения. Для обеспечения нулевой ошибки, кажется, что скорость передачи должна стремиться к нулю. Теорема же утверждает, что всегда можно обеспечить скорость передачи равной V_{z max} путем выбора подходящего ввода.

Корректирующие коды

Это коды, которые позволяют обнаруживать и исправлять ошибки.

n – значность кода (из скольки символов состоит данная кодовая комбинация)

N₀ = 2ⁿ,  n – число возможных кодовых комбинаций.

Идея возможности обнаружения ошибок заключается в том, что для передачи используются не все комбинации, а только их часть N.

И это значение N<N₀.

Используемые комбинации N называются разрешенные, а остальные N₀–N – это запрещенные комбинации.

Если в результате действия помех разрешенная комбинация превращается в запрещенную, то это обнаруживает наличие ошибки. Если совокупность ошибок превращает одну разрешенную комбинацию в другую разрешенную комбинацию, то такие ошибки обнаружены не будут.

Примером кода, обнаружившего одиночную ошибку, является коды с контролем по четности. Сущность таких кодов состоит в следующем:

 К исходной кодовой комбинации добавляют 1 или 0, таким образом, чтобы количество (сумма) единиц всегда была четной.  Сбой любого одного символа обнаружит ошибку.

                                    информационный

Код 1 00 01 10 11

Код 2 00 01 10 11

0 1 1 0

Чтобы принять сигнал правильно, надо повторить передачу.

Количество символов, на которое одна кодовая комбинация отличающаяся от другой кодовой комбинации, называется кодовым расстоянием и обозначается буквой d. d₀ – минимальное кодовое расстояние – минимальное количество символов, на которое кодовая комбинация отличается друг от друга.

Для того, чтобы определить кодовое расстояние достаточно просуммировать кодовые комбинации по правилам двоичного поля и подсчитать число единиц  в полученном результате.

Пример: Для кода 1

А₁ = 00          0 Å 0 = 0         Правила:           

А₂ = 01          1 Å 0 = 1             четн. – 0