Расчёт априорной (безусловной) энтропии H0, апостериорной (условной) энтропии H и количества измерительной информации

СЕВЕРО-ЗАПАДНЫЙ ГОСУДАРСТВЕННЫЙ

ЗАОЧНЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ

КАФЕДРА МЕТРОЛОГИИ

КОНТРОЛЬНАЯ РАБОТА

по предмету: «ТЕОРИЯ ИНФОРМАЦИИ»

факультет             РЭ

специальность     1908

шифр                      015-0033

студент                   Кузьминых В.Е.

СРЕДНЕУРАЛЬСК

2002 г.
Задача № 1.

Дано:

Qi>Qj (m1)	n=10 n=20 n=40 n=100	m1=7 m1=17 m1=37 m1=95
Qi=Qj (m2)	n=10 n=20 n=40 n=100	m2=2 m2=2 m2=2 m2=3
Qi<Qj (m3)	n=10 n=20 n=40 n=100	m3=1 m3=1 m3=1 m3=2

Рассчитать:

а) априорную (безусловную) энтропию H₀;

б) апостериорную (условную) энтропию H_n;

в) количество информации J_n в каждой серии.

Построить по расчетным данным графики:

а) зависимости апостериорной энтропии H_n от числа измерений n H_n=f(n);

б) зависимости количества информации J_n от числа измерений n J_n=f(n).

Решение:

1. Априорная энтропия:

Т.к. все три результата измерения равновесны p₁=p₂=p₃, то

2. Апостериорная энтропия:

n=10                                  

n=20                               

n=40                               

n=100                          

Количество измерительной информации J_n­ определяется по формуле:

J_n = H_o – H_n

                            

       

J₁₀ = 1,58496 – 1,156785 = 0,428175

J₂₀ =1,58496 – 0,747589 = 0,837371

J₄₀ =1,58496 – 0,45318875= 1,13177125

J₁₀₀ =1,58496 – 0,3349442 = 1,250018

Графики:

 H_n=f(n)

Hn
1,0
0,7
0,5
0,3
0	10		20		30		40		50		60		70		80		90		100		n

J_n=f(n)

Jn
1,2
1,1
0,8
0,4
0	10		20		30		40		50		60		70		80		90		100		n