Информация и энтропия. Единицы их измерения. Мера количества информации. Достоинства меры Хартли, страница 3

Теорема Шеннона. Если производительность источника H’, то сообщение можно так закодировать в сигнал, чтобы оно передавалось со сколь угодно малыми потерями информации. Не существует способа кодирования при H’, при котором потери информации меньше, чем H’.

В точке С имеем самую большую скорость передачи информации и минимальные потери,  поэтому передавать информацию цеесообразно в точке С.

Формула Шеннона.

Шеннон получил формулу для непрерывного канала. Пропускная способность непрерывного канала при БТШ и ограниченной мощности сигнала:

С= где - полоса пропускания канала связи

Ps- мощность сигнала на выходе приёмника

Pn=No- мощность шума на входе приёмника

Если Ps= Pn, то передать сигнал невозможно.

Ps= 0,01Pn- в соответствии с формулой Шейнона.

Рош=1-F()  то есть сигнал передать нельзя.

Однако возможность передачи сигнала определяется энергией сигнала, а не мощностью.

Самыми помехоустойчивыми являются противоположные бинарные сигналы. Е=, то есть, увеличивая длительность сигнала, вероятность ошибки будет мала, поэтому передавать сигнал можно на фоне сильного шума. Результат по формуле Шеннона можно получить при использовании сложных сигналов с большой базой, то есть, используя сложные сигналы, можно передавать

информацию при малом отношении сигнал-шум. Это позволяет повысить скрытность.

Формула Шеннона указывает на обмен между мощностью сигнала и полосой пропускания канала.

Данную формулу необходимо рассматривать при No=const, Pn= No

Выгодно увеличивать , когда отношение сигнал-шум высокое.

Вопрос 5

Элементы теории помехоустойчивого кодирования. Хэммингово расстояние и его связь с числом обнаруживаемых и исправляемых ошибок. Кратность независимых ошибок и вероятность их появления.

Коды, позволяющие обнаруживать и (или) исправлять ошибки – помехоустойчивые (корректирующие)

Обнаружение ошибок – установление факта ошибки в принятой кодовой комбинации

Исправление – определение разрядов кодовой комбинации в которых произошли ошибки и последующее исправление

Ошибки в кодовых комбинациях:

·  Независимые (из-за шума)

·  Зависимые ((из-за замирания)

Ошибки характеризуются кратностью. Если ошибка в одном разряде – однократная, и т.д.

При независимых ошибках вероятность однократной ошибки в кодовой комбинации длинны n:

P₁ = nP(1-p)^n-1

P – вероятность ошибки одного знака кодовой комбинации

Вероятность двукратной ошибки:

P₂ = (n/2)p²(n-1)(1-p)^n-2 = Cn²p²(1-p)^n-2

Pq = Cn^q p^q(1-p)^n-q     0=<q<=n

Важное значение имеет расстояние между кодовыми комбинациями, под которым понимают количество разрядов, которыми различаются две кодовые комбинации.

101101     d=4 (число различий)

011110

Кодовым (Хеминговым) называют минимальное расстояние для данного кода.

d=1

000
001
010
011
100
101
110
111

Что бы код обнаруживал все ошибки кратности <=q, необходимо, что бы его кодовое расстояние d=>q+1 . При этом могут обнаруживаться ошибки большей кратности.

P₁=np(1-p)^n-p, P₂= (n(n-1)/2)p²(1-p)^n-2

В первую очередь необходимо обнаруживать и исправлять ошибки малых кратностей, т.к. они более вероятны.

Что бы код исправлял все ошибки кратности <=t, необходимо и достаточно, что бы d=>2t+1. d=>q+t+1 тогда будут находится и исправляться ошибки.

Принцип обнаружения ошибок состоит в том, что из общего числа кодовых комбинаций N=2ⁿ выбираются для передачи информации N₀<N - разрешенные

N-N₀ – запрещенные

Ошибки обнаруживаются если принятая кодовая комбинация запрещенная.