Информация, язык, общество. Измерение информации. Энтропия и её свойства. Определение информационных потерь в каналах связи. Передача информации по дискретным каналам связи. Код Хэминга, страница 20

v_k = 111011  k_x = 10111

       10111

         10101                              R_x = 10 Þ обнаружена ошибка, надо повторить передачу

         10111

           0010

2) Двойная ошибка

v₁ = 010111

Rx = 1010 – есть остаток, следовательно, посланная комбинация содержит ошибку.

v_k = 110011  k_x = 10111

       10111

         11101                             

         10111

           1010

3) Однократная ошибка

v₁ = 010111

Rx = 1110 – есть остаток, следовательно, принятая комбинаяция содержит ошибку. Какую ошибку мы не указываем.

v_k = 110111  k_x = 10111

       10111

         11001                             

         10111

           1110

Пример: Построить образующий многочлен для создания циклического кода, обнаруживающего все трёхкратные ошибки при передаче 1000 сообщений.

1) Определение количества параметров кода

n_u = log₂ 1000 = 10

n_k 1 + log₂(n_u + 1 + log₂(n_u + 1)) = 1 + log₂(11 + log₂11)

n_k = 5

      d₀ = r + 1 = 4 – число ненулевых членов образующего многочлена

Из таблицы нериводимых многочленов, выбираем многочлен степени n_{k – 1} = 4, который позволяет обнаруживать двойные ошибки.

M₄ = x⁴ + x + 1

M₁ = x + 1

k(x) = M₁ + M₄ = (x + 1)(x⁴ + x + 1) = x⁵ + x⁴ + x² + 1 110101

Информация. Язык. Общество............................................................................................................................... 2

Измерение информации........................................................................................................................................... 2

Структурный метод................................................................................................................................................ 2

Статический метод................................................................................................................................................. 2

Энтропия  и  её свойства........................................................................................................................................ 3

Энтропия сложной системы................................................................................................................................. 4

Условная энтропия. Объединение зависимых систем...................................................................................... 4

Полная условная энтропия...................................................................................................................................... 5

Определение информационных потерь в каналах связи................................................................................... 7

Энтропия и информация......................................................................................................................................... 8

Взаимная информация.............................................................................................................................................. 9

Частная информация о системе........................................................................................................................ 10

Количественное определения избыточности.................................................................................................. 12

Блочное кодирование.............................................................................................................................................. 15

Передача информации по дискретным  каналам связи................................................................................. 19

Код Хэминга.............................................................................................................................................................. 31

Декодирование кода Хэминга............................................................................................................................... 32