Информация, язык, общество. Измерение информации. Энтропия и её свойства. Определение информационных потерь в каналах связи. Передача информации по дискретным каналам связи. Код Хэминга, страница 20

vk = 111011  kx = 10111

       10111

         10101                              Rx = 10 Þ обнаружена ошибка, надо повторить передачу

         10111

           0010

2) Двойная ошибка

v1 = 010111

Rx = 1010 – есть остаток, следовательно, посланная комбинация содержит ошибку.

 
vk = 110011  kx = 10111

       10111

         11101                             

         10111

           1010

3) Однократная ошибка

v1 = 010111

Rx = 1110 – есть остаток, следовательно, принятая комбинаяция содержит ошибку. Какую ошибку мы не указываем.

 
vk = 110111  kx = 10111

       10111

         11001                             

         10111

           1110

Пример: Построить образующий многочлен для создания циклического кода, обнаруживающего все трёхкратные ошибки при передаче 1000 сообщений.

1) Определение количества параметров кода

nu = log2 1000 = 10

nk 1 + log2(nu + 1 + log2(nu + 1)) = 1 + log2(11 + log211)

nk = 5

      d0 = r + 1 = 4 – число ненулевых членов образующего многочлена

Из таблицы нериводимых многочленов, выбираем многочлен степени nk – 1 = 4, который позволяет обнаруживать двойные ошибки.

M4 = x4 + x + 1

M1 = x + 1

k(x) = M1 + M4 = (x + 1)(x4 + x + 1) = x5 + x4 + x2 + 1 110101


Информация. Язык. Общество............................................................................................................................... 2

Измерение информации........................................................................................................................................... 2

Структурный метод................................................................................................................................................ 2

Статический метод................................................................................................................................................. 2

Энтропия  и  её свойства........................................................................................................................................ 3

Энтропия сложной системы................................................................................................................................. 4

Условная энтропия. Объединение зависимых систем...................................................................................... 4

Полная условная энтропия...................................................................................................................................... 5

Определение информационных потерь в каналах связи................................................................................... 7

Энтропия и информация......................................................................................................................................... 8

Взаимная информация.............................................................................................................................................. 9

Частная информация о системе........................................................................................................................ 10

Количественное определения избыточности.................................................................................................. 12

Блочное кодирование.............................................................................................................................................. 15

Передача информации по дискретным  каналам связи................................................................................. 19

Код Хэминга.............................................................................................................................................................. 31

Декодирование кода Хэминга............................................................................................................................... 32