Курс лекций по дисциплине «Информационно-измерительные системы», страница 20

2.  Мера неопределенности источника связана с N. Считаем, что мера неопределенности пропорциональна N.

3.  Неопределенность источника снимается получения сообщения.

4.  Количество информации равно разности неопределенностей до передачи и после получения сообщения.

I = f(N) – 0 – разность неопределенностей.

I = f(N) = неопределенности.

Информация – это снятая неопределенность.

Свойства:

1)  свойство аддитивности I=

 

2)  N₁₌ N₁ N₂ – свойство мультипликативности, где

N₁ – число состояний , источник 1.

N₂ – число состояний , источник 2.

ab – 4 комбинации               aa ab ba bb            2²=4              N₁

cd – 4 комбинации               cc cd dc dd            2²=4              N₂

abcd=2¹⁶,

log₂(N₁N₂) = log₂N₁+ log₂N₂

I = log₂N – формулаХартли;

N = (0,1) = 2;

I = log₂2 = 1(бит)

I = R:  Бит = Бод

Источник Хартли рассматривал все события равновероятными.

N(0) = N(1);

P(0) = P(1) = ;

             ;

 – число возможных состояний;

Например: m_i = 2; n_i = 2; N_i = 4         0 0                1 0