Конспект лекций по теории электрической связи, вторая часть, страница 29

Переход к непрерывным источникам основывается на таком равенстве:

В частности

             С=1

Ф 1 для дифференциальной энтропия верна для случая, когда мы рассматриваем непрерывные сообщения X(t), производим в момент времени:(i-опускаем). Все отсчеты считаем статистически независимы друг от друга.

                          

  

Аналогично вводиться понятие условной дифференциальной энтропии

   

Свойства дифференциальной энтропии

Эти свойства резко отличаются от свойств энтропии дискретного источника. Все начинается с главного отличия:

1)                   

В отличие от этого дифференциальная энтропия для искаженного источника может оказаться отрицательной величиной.

Количество взаимной информации двух непрерывных случайных событий или процессов.

           

вход демодулятора

Выход

модулятора    Непрерывный канал