Расчёт априорной (безусловной) энтропии H0, апостериорной (условной) энтропии H и количества измерительной информации, страница 2

1 бит = 0,69 нат = 0,3 дит

Параметры	дит	нат	бит
H0	1,58496	3,64541	5,28320
H10	1,156785	2,660608	3,85595
H20	0,747589	1,7194547	2.4919633
H40	0,45318875	1,042334125	1.510629166
H100	0,3349442	0,77037166	1.11648066
J10	0,428175	0,9848025	1,42725
J20	0,837371	1,9259533	2,7912366
J40	1,13177125	2,603073875	3,772570833
J100	1,250018	2,8750414	4,1667266

Задача № 2

Дано:             Q₁ = 5

Q₂ = 17

Q₃ = 10

Q₄ = 12

                        σ₀ = 3

                        σ  = 1

Рассчитать: априорную (безусловную) энтропию H₀, апостериорную (условную) энтропию H и количество измерительной информации J для следующих комбинаций априорного и апостериорного законов распределения вероятности:

            а) равномерный – равномерный;

            б) треугольный – треугольный;

            в) равномерный – нормальный;

            г) равномерный – экспоненциальный.

Решение:

1)  Равномерный – равномерный

H₀ = 2,05;   H = 1,24

J = H₀ – H = 2,05 – 1,24 = 0,81

                         

p(x)
0.5													Q3		p(Q)		Q4
0.4
0.3
0.2
0.1			Q1				p0(Q)																				Q2
			5		6		7		8		9		10		11		12		13		14		15		16		17		Q

                      K₀ = 7,73 : 2 : 3 = 1,2883                  K = 3,464 : 2 : 1 = 1,732

Для законов распределения равномерный – равномерный получаем:

H₀ = 2,05;       H = 1,24;        J = 0,81;         K₀ = 1,2883;         K =1,732.

2)  Треугольный – треугольный

J = H₀ – H = 1,95 – 1,40 = 0,55

                           

p(x)
1
0.8
0.6
0.4																	p(Q)
0.2							p0(Q)
			Q1									Q3						Q4									Q2
			5		6		7		8		9		10		11		12		13		14		15		16		17		Q