Курс лекций по дисциплине «Информационно-измерительные системы», страница 27

                                 R = H(X)-0      R = H(X) (Бит/сим),

где Н(Х) - исходная энтропия

Если в канале действуют шумы, то происходят искажения сигнала. Получателям на приемочной стороне приходится гадать, что передано. Возникает вопрос, насколько снизилась пропускная способность канала из-за помех.

Рассмотрим систему, в которой есть φ(x), (x – алфавит) и  φ(y). Между множеством  х и у есть соответствие, оно характеризуется   

                                                

   Рассмотрим различные варианты функционирования системы связи:

1.  Канал оборван (обрыв канала связи)

                          ,

где система совместных событий.

     2. Передача по каналу связи с ошибкой

шумы, которые обуславливают ошибки приема

                  

условные рефлексные вероятности

                                      

                              Н(X,Y) = H(Y) + H(X/Y)

                              Н(Y,X) = H(X) + H(Y/X)

                        Н(Y) + H(X/Y) = H(X) + H(Y/X)

H(Y/X) - условная энтропия

Условная энтропия – это мера ненадежности системы. Ненадежность вызвана помехами и сбоями. Чем больше шумы в канале связи, тем больше энтропия. Степень неупорядоченности при наличии помех оценивают как величину  R (скорость передачи).

R<H(X)

Если известна скорость передачи символов в канале, то формула для R определяет количество информации переносимая одним символом

Развернутая формула:       

Если передаются непрерывные сообщения, то скорость предачи непрерывного сигнала будет определяться: