Дифференциальная (относительная) энтропия. Плотность распределения непрерывной случайной величины. Характеристическая функция непрерывной случайной величины

 1.6.3. Дифференциальная (относительная) энтропия

Пусть  - плотность распределения непрерывной случайной величины x. Воспользуемся выражением для энтропии, введенное выше в п. 1.5:

, где в качестве  будем использовать вероятностные меры интервалов одинаковой ширины . Каждая из этих вероятностных мер численно равна площади полосы ширины , вырезанной из фигуры, ограниченной плотностью распределения и осью абсцисс, как это показано на рис. 11.

По теореме о среднем,  эта вероятностная мера равна площади прямоугольника, равновеликого заштрихованной криволинейной трапеции. Основание этого прямоугольника , высота его равна значению  плотности распределения в некоторой средней точке . Тогда

,

.

Теперь для получения окончательного решения необходимо совершить предельный переход при Dx ® 0.  Однако, из-за того, что , предел . Этого следовало ожидать, поскольку непрерывная случайная величина на любом сколь угодно малом отрезке может принимать бесчисленное множество значений, и в отличие от дискретной величины все ее значения образуют более, чем счетное множество. Мера неопределенности такого ансамбля не может быть меньше бесконечности вне зависимости от вида плотности распределения. Для того, чтобы, несмотря на это обстоятельство, получить возможность сопоставления непрерывных случайных величин по значению энтропии,  условились отсчитывать энтропию непрерывной случай-

ой величины от некоторого уровня, который принимается за нуль. В качестве такого нулевого отсчета энтропии непрерывной случайной величины используется энтропия другой непрерывной случайной величины,  плотность распределения  которой  равномерна на интервале (0, 1). График этой плотности распределения представлен на рис. 12. Ее аналитическая запись имеет вид

Как и ранее, ,

, где = 1. С учетом этого равенства

.

Как видим, энтропия этой случайной величины в пределе при Dx ® 0 также стремится к бесконечности, но принимая эту энтропию за начало отсчета, определим относительную (дифференциальную) энтропию непрерывной случайной величины, как предел разности:

.

Итак, относительная или, иначе, дифференциальная энтропия отсчитывается от энтропии случайной величины, распределенной равномерно в интервале (0, 1], поэтому она может быть отрицательной. Выпишем отдельно формулу, которая определяет относительную энтропию:

.

1.6.4. Характеристическая функция непрерывной случайной величины

Характеристической функцией непрерывной случайной величины xназывается математическое ожидание случайной функции  (см., например, [3,4]):

.

Иными словами, характеристическая функция случайной величины есть интегральное преобразование плотности распределения этой случайной величины. Это преобразование есть частный случай применения обратного преобразования Фурье к функциям, обладающим специфическими свойствами, присущими плотности распределения, а именно, к неотрицательным функциям, интеграл от которых по всему множеству их определения равен 1. Отсюда следует, что характеристическая функция и плотность распределения связаны взаимно однозначно, то есть

.

Приведем здесь несколько полезных свойств характеристической функции, первое из которых порождено спецификой плотности распределения случайной величины.

a) При n = 0

,

,

.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  

.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .

.

Приведенные равенства означают, что для определения начальных моментов всех порядков достаточно знать выражение для характеристической функции, продифференцировать его  k раз по аргументу n, подставить в полученную производную значение n = 0 и разделить результат на  . В частности, если необходимо определить дисперсию, то придется найти первый и второй начальные моменты и затем воспользоваться соотношением, которое было получено ранее в п. 1.3.3:

.

b) Если задана случайная величина h, которая является линейной функцией случайной величины x :h = a×x + b, то характеристическая функция случайной величины h есть

.

Это свойство, в частности, означает, что при простом смещении значений случайной величины по оси абсцисс на величину b характеристическая  функция  умножается  на  экспоненту  в  степени  jnb . То  есть,  если h = x + b, то .

с) Пусть имеется последовательность  плотностей распределения