Исследование дискретного источника информации (длина сообщения n=100, число букв в алфавите N=3, перечень букв A=(1,2,3))

Петербургский Государственный Университет Путей Сообщения

Кафедра «Электрическая связь»

Отчет по лабораторной работе №5

«Исследование дискретного источника информации»

Выполнил студент     группы АТК-102

Лебединский А.А.

Проверил

Сидорович Д.Ю.

Санкт-Петербург

2003

Исходные данные:

Вариант 5.

12333211123332323233

32221122221133321133

32332323332233321133

32112333221122333223

21123332111132321132

Цель работы:

Закрепление теоретических знаний о моделях дискретных источников информации и их свойствах. Приобретение навыков статистических исследований сообщений источников и определения их информационных характеристик, а также навыков статистического кодирования.

Содержание работы:

1.  Определение статистических характеристик источника по заданному сообщению.

2.  Определение информационных характеристик источника и оценка влияния на них неравновероятности и взаимозависимости букв.

3.  Статистическое кодирование сообщений источника без учета и с учетом взаимозависимости букв, оценка эффективности различных способов статистического кодирования.

Выполнение работы:

1.  Определение статистических характеристик источника по заданному сообщению.

1.1  Длина сообщения n=100, число букв в алфавите N=3, перечень букв A=(1,2,3).

1.2  Вероятности появления букв в сообщении:

ai	ni	pi
1	24	0,24
2	34	0,34
3	42	0,42

1.3  Вероятности двухбуквенных сочетаний:

aiaj	nij	pij	pipj
11	13	0,13	0,0576
12	6	0,06	0,0816
13	5	0,05	0,1008
21	10	0,1	0,0816
22	9	0,09	0,1156
23	14	0,14	0,1428
31	0	0	0,1008
32	19	0,19	0,1428
33	23	0,23	0,1156

1.4  Тип источника – марковский, т.к. буквы взаимозависимы.

1.5  Переходные (условные) вероятности:

p(aj/ai)		Последующие буквы aj
		1	2	3
Предыдущие буквы ai	1	0,5416	0,25	0,2083
	2	0,2941	0,2647	0,4117
	3	0,0001	0,4523	0,5476

1.6  Граф функционирования марковского источника:

 

2.  Определение информационных характеристик источника и оценка влияния на них неравновероятности и взаимозависимости букв.

2.1  Значения энтропии источника:

	Использованная модель источника
	марковская	с независимыми буквами	с равновероятными и независимыми буквами
Энтропия H, бит/букву	1,294310	1,548954	1,584963
Относительная избыточность E, %	18,3381	2,2719	0
Информативность D, %	81,6619	97,7281	100

2.2  Количество информации в сообщении J=nH_м=100*1,294310=129,431; минимальное количество двоичных символов, необходимых для кодирования сообщения n_мин=100.

3.  Статистическое кодирование сообщений источника без учета и с учетом взаимозависимости букв, оценка эффективности различных способов статистического кодирования.

3.1  Построение статистического кода по алгоритму Фэно:

ai	pi	I	II	Кодовая комбинация	Число символов  Kст. i
3	0,42	1		1	1
2	0,34	0	1	01	2
1	0,24	0	0	00	2

3.2  Построение статистического кода по алгоритму Хаффмана:

ai	pi	I	II	Кодовая комбинация	Число символов   Kст. i
3	0,42	0,42	1	1	1
2	0,34	0,58		00	2
1	0,24			10	2

 

3.3  Количество букв статистического кода, необходимое для кодирования стобуквенного источника n_СТ.И=158 букв.

3.4  Эффективность статистического кодирования:

		Модель источника
		марковская
nмин		140
E		0,92
Eост	при стат. кодировании по буквам	0,081
	то же, по двухбуквенным сочетаниям	0,077

Вывод:

В процессе работы были закреплены теоретические знания о моделях дискретных источников информации и их свойствах. Приобретены навыки статистических исследований сообщений источников и определения их информационных характеристик, а также навыки статистического кодирования. При построении статистических кодов для кодирования сообщений по отдельным буквам и по двухбуквенным сочетаниям, можно заключить, что кодирование двухбуквенным сочетанием эффективнее.