Другие предметы \ Теория информации

Ответы на экзаменационные вопросы № 1-14 по дисциплине "Теория информации" (Информация, сообщение, сигнал, помеха. Неравенство Крафта. Алгоритм Хаффмана), страница 2

5.Реакция элемента системы передачи на δ-импульс. Прохождение детерминированного сигнала через линейный элемент системы передачи.

Реакция 4-хполюсника

Реакция любого элемента системы передачи (4х-полюсника) на дельта-импульс называется его импульсной характеристикой:

Импульсная характеристика полностью характеризует элемент во временной функции:

Если удалось подобрать такой импульс, который в диапазоне частот имеет неизменную форму, то это δ-импульс.

Прохождение сигнала

1 путь:

1)U_вых(jω)=U_вх(jω)*H(jω)

2)U_вых(t)=1/2π

2 путь:

-интеграл свертки

Сигнал на выходе равен сигналу свертки между u(t) и h(t-τ) cдвинутым на время τ

6.Дискретизация непрерывных сигналов.Теорема Котельникова.Виды погрешностей.Практическое значение теоремы.

Сущность дискретизации заключается в том, что непрерывность во времени функции s(t) заменяется последовательностью коротких импульсов,

Шаг дискретизации должен быть таким, чтобы было возможно восстановление непрерывной функции по ее отсчетам с допустимой точностью

Теорема: если любой непрерывный сигнал u(t)не содержит частотных составляющих выше частоты F, то он полностью определяется своими отсчетами взятыми через интервалы времени дискретизации Т=1/2F; любой непрерывный сигнал с ограниченным спектром может быть восстановлен по своим отсчетам с помощью ряда Котельникова.

–ряд Котельникова является дискретным аналогом интеграла свертки.

Погрешности при восстановлении ряда К.:

1)восстановление ведется по конечному числу отсчетов

2)Восстановление не по точным, а по приближенным отсчетам

3)tnT_д,необходимо обеспечить равенство.

4)восстановление ведется по приближенной ф-ии вида sinx/x

можно справится со всеми погр., кроме 1)

значение: временное разделение каналов(временное уплотнение), можно обеспечить по одной цепи несколько каналов.

7.Геометрическое представление сигналов: пространство Евклида и пр-во Гильберта, понятие расстояния, нормы. Энергия и норма прямоугольного импульса.

Для описания дискретных сигналов - пр-во Евклида(R²);для непрерывных – Гильберта(L²)

В математике длину вектора называют его нормой.Пространство называется нормированным если любому вектору однозначно соответствует норма. Во всех функциональных пр-вах определяющим является понятие расстояния. Метрика-правило, по которому задается расстояние.

в пр-вах Е и Г метрику определяют через скалярное произведение векторов.

норма-длина вектора от начала координат, до заданной точки

–энергия сигнала x(t)-напряжение или ток, измеряемые на сопротивлении в 1 Ом мощность сигнала:

расстояние

;

8.Непрерывные сигналы как случайные стационарные процессы. Вероятностные, частотные и временные характеристики случайных сигналов. Теорема Хинчина-Винера

Случайный процесс (стохастический) – это случайная функция времени, которая в любой момент принимает различные значения, подчиняющиеся определенному закону распределения.

Бывают:

Стационарные – процесс, вероятностные характеристики которого не меняются во времени. ->Эргодические – стационарный случайный процесс, вероятностные характеристики которого не зависят от того как они получены.

Не стационарные – меняются.

Гауссовские – нормальное распределение, не гауссовские.

Если наблюдается зависимость от нескольких переменных, (частота, фаза и тд) – это случайное поле.

Вероятностные характеристики (моментные функции):

1) - среднее значение сигнала (пост. сост.)

2) - характеризует разброс значений (или ср. мощность случ. процесса)

3) - действительное знач. напр. случайного процесса.

4) - ф-ция автокорреляции, при =0 это дисперсия.

Временные и частотные характеристики сл. процессов

У сл. процесса мы не можем задать аналитически U(t).

U(t)->U(jw) – спектральная плотность; U(w,t)

Текущий спектр – ограничивает интервал, получая решение в данный момент.

Теорема Хинчина-Винера.

Для стационарных случайных процессов можно определить усреднённую за некоторое время t спектральную плотность мощности:

Таким образом:Теорема Х.-В.:

(спектр мощности)

(функция автокорреляции – можем предсказать сл. Процесс)

9.Определение вероятности превышения амплитудой нормально распределенной помехи заданного порога.

10.Определение вероятности ошибки при передаче импульсов постоянного тока в смеси с аддитивной нормально распределенной помехой.

11.Типы дискретных источников информации, их характеристики. Количество информации в букве сообщения при равновероятности и взаимной независимости букв.Единицы количества информации

Сущ. 3 типа дискретных источников информации:

1)с равной вероятностью и взаимной независимостью появления букв

2)с неравной вероятностью и взаимной независимостью

3)с неравной вероятностью и взаимозависимостью(марковские)

Характеристики:

алфавит {a₁, a₂, …a_N};вероятность появления буквы р(а_i); скорость передачи буквы(буква /ед.времени);энтропия(кол-во информации) Н(А)=[бит/букву];производительность-суммарная энтропия сообщений, переданных за единицу времени (бит/е.в.)

Кол-во информации:

p(a_i)=1/N

H_max=log₂N=-log₂p(a_i) бит/букву

Единицы кол-ва информации: бит/букву

Бит — это двоичный логарифм вероятности равновероятных событий;базовая единица измерения количества информации, равная количеству информации, содержащемуся в опыте, имеющем два равновероятных исхода

12. Количество информации в букве сообщения при неравной вероятности и взаимной независимости букв. Мера кол-ва информации.

Кол-во инф.:

- неравновероятность

– взаимонезависимость появления букв

n -

p(a_i)=n_i/n

-кол-во информ. в n-букв.сообщении

–среднее кол-во информации

Мера кол-ва информации- энтропия

17.N-уровневый симметричный канал и его пропускная способность. Каналы с независимыми ошибками и пакетами ошибок. Распределение вероятности ошибки в канале с независимыми ошибками.

N-уровневый симметричный канал -два двоичных импульса кодируются одним

2B → 1Q

10 → +1B

01 → -3B

00 → -1B

11 → +3B

p(ai) = 1/N; C=max; Hmax =

H(A/B) = -

Каналы с независимыми ошибками

Если ошибки распределены равномерно и каждая последующая не зависит от предыдущей-то канал с незав. ошибками.

К_ош=n_ош/N_Σ=4/4*10⁶=10^-6

пример(задача)

n=7

p_e=K_ош=10^-6

p₁= p_e*n(1- p_e)^n-1=7p_e(1- p_e)≈7*10^-6

p₂=C₇² p_e²(1- p_e)^7-2

p_k= C_n^k p_e^k(1- p_e)ⁿ^-^k подчиняется биномиальному распределению(закон Бернулли)

cпакетами ошибок

для описания используются цепи маркова метод перемежения данных-позволяет избавится от действия пакета ошибок(передают по столбцам).чем больше коэффициент перемежения тем лучше

13.Количество информации в букве сообщения при неравной вероятности и взаимозависимости букв.

энтропия марковского источника.

характеризуется алфавитом А-{а₁, а₂,…, a_N}

p(a_i)≠ p(a_j)

источник задается:1)матрицей условных вероятностей;

преедыдущ буквы	Последующие буквы
		a₁	a₂	a₃
	a₁	p(a₁/a₁)	p(a₂/a₁)	p(a₃/a₁)
	a₂	p(a₁/a₂)	p(a₂/a₂)	p(a₃/a₂)
	a₃	p(a₁/a₃)	p(a₂/a₃)	p(a₃/a₃)

2)графом состояний

Выражение для энтропии марковского источника:

Среднее кол-во информации кот. будет нести буква, если известно, что предыдущей буквой была а₁

–условная энтропия

–энтропия марковского источника

H_max>H(A)>H_M (A)

14.Избыточность. Коэффициент сжатия(информативность). Причины избыточности, исключение избыточности статистическим кодированием. Неравенство Крафта. Алгоритм Хаффмана, пример применения.

Избыточность-наличие в сообщениибольшего числа букв, чем это необходимо для передачи.

D-коэффициент сжатия, показывает на сколько можно сжать сообщ. источника.

D=1-E (Сжатие информации в файлах производится за счет устранения избыточности различными способами)

Причины избыточности:

1)неравная вероятность появления букв

2)взаимозависимость

Для устранения избыточности исп-ся статистическое кодирование(обратимые алгоритмы без потери качества).Принцип: буквы, кот.передаются чаще-короткие комбинации, редко-более длинные.

Неравенство Крафта:

для сущ. двоичного кода содержащего к по два комбинаций с длинами к{n₁, n₂…n_k} достаточно, чтобы выполнялось условие

Алгоритм Хаффмана:

1.буквы алфавита источника располагаются в порядке убывания вероятности

2.суммируют две наименьшие вероятности

3.от каждой точки откладывают 1 вверх, 0 вниз

4.записать комбинацию справа налево

Алгоритм является префиксным(любая комбинация не должна явл. началом любой другой)

пример N=5,n=100,n_кк≥log₂N=3, n_рк=300,n_ст.к=40*1+30*2+15*3+10*4+5*4=205

15.дискретный канал передачи информации и его характеристики. Количество информации, передаваемое через канал одной буквой. Пропускная способность канала.

Дискретный канал образует совокупность устройств включенных между кодером и декодером(включая их)

Любой дискретный канал хар-ся:

1)Алфавит на входе канала: А-{a₁,a₂,…,a_n};

Алфавит на выходе канала: А-{b₁,b₂,…,b_k}.

За счёт действия помех на вых. и вх. отличаются алфавиты.

2)Способность канала правильно или с ошибкой передавть буквы.

для идеального, матрица условной вероятности единичная

3)Среднее кол-во информации передаваемое через канал: R – [бит/букву]

4)Максимальное кол-во информации переносимое буквой через канал- пропускная способность: С=maxR [бит/букву]

5)Вероятности появления букв на вх.канала:P(a_i).

Кол-во информации, передаваемое через канал связи

ДКПИ-дискретный канал передачи информации

P(a_i/b_j)=-какова вероятность того, что на вх. была буква а_i, если на вых. получена b_j.(обратно-условная вер-ть)

Обратная условная энтропия:

Н(А/b_j)=-хар-т кол-во информации которое мы можем недополучить из канала.

Н(А/В)=[бит/букву]-сред.кол-во инф.,которое теряется из канала из-за помех(ненадежность канала)

R=H(A)-H(A/B)-среднее кол-во инф.передаваемое буквой через канал.

Пропускная способность.

С=maxR=max[H(A)-H(A/B)]=max[H(B)-H(B/A)]

16.двоичный симметричный канал и его пропускная способность. Характер ошибок в дискретных каналах передачи информации. Способ преобразования пакетов ошибок.

ДСК явл-ся наиболее распространенной, самой простой моделью дискретного канала передачи информации.

Это канал с двоичным алфавитом на входе и выходе и вероятность перехода 1→0 и от 0→1 – одинакова и равна вероятности ошибки.

Дискретный двоично-симметричный канал:

C=maxR=max[H(A)-H(A/B)] бит/букву

Пропускная способность :

коэффициент ошибки за время измерения.

Ошибки:

1) Независимые ошибки – равномерное распределение во времени, независимость их друг от друга.

2) Пакетные ошибки – зависимы друг от друга, неравномерное распределение во времени.

Пакет – ошибки, вызванные одним первоначальным источником.

метод перемежения данных-позволяет избавится от действия пакета ошибок(передают по столбцам).чем больше коэффициент перемежения тем лучше

1 2

Скачать файл