Конспект лекций по теории электрической связи, вторая часть, страница 40

Теорема Шеннона для непрерывного источника, непрерывного канала.

Пусть  (бит/с) это пропускная способность

 непрерывного канала  (бит/с)- Е - производ-ть

источник сообщения  

Если Е -производ-ть  источника непрерывных сообщений меньше пропускной способности непрерывного канала , то существует такой метод кодирования ,то есть такой метод преобразования непрерывного сообщения , при котором с вероятностью сколь угодно близкой к 1 принятое сообщение  будет эквивалентно переданному сообщению, т.е.  при заданном критерии эквивалентности.

Если же Е-производ-ть источника непрерывных сообщений больше пропускной способности непрерывного канала , то таких методов сколь угодно достоверной передачи не существует.

2. Наибольший распространенный  коэффициент эквивалентности.

Таким критерием является критический минимум среднеквадратичного отклонения принятого сообщения от переданного.

 это разность величины отклонения

- шум искажения сообщения

При таком критерии эквивалентности

- разность между дифференциальной энтропией шума и дифференциальной энтропией сигнала.

3. Примеры энтропии для различных источников сообщений.

1)Пусть источник сообщений Х(t) имеет  равномерную плотность вероятности