Лекція 1 Вступ. Поняття комп’ютерних інформаційних технологій, страница 6

При наявності декількох джерел інформації загальна кількість інформації дорівнює

І = І1 + І2 + ... + Іk =               (1.3)

Тут І і - кількість інформації від джерела і. Усього джерел - k.

Логарифмічна міра інформації дозволяє вимірити кількість інформації і використовується на практиці.

Наприклад, необхідно визначити, яке кількість інформації в бітах містить книга, написана російською мовою , що містить 200 сторінок (кожна сторінка містить 2000 символів).

Для рішення скористаємося мірою Хартлі

І = n log₂ q = 200*2000 log₂ 32 = 2000000 біт.

Тут n - довжина повідомлення в знаках:

n = 200 сторінок *2000 знаків/сторінка = 400000 знаків.

Отже, книга містить близько 2-х мегабіт (Мбіт) інформації.

Міра невизначеності Шеннона

В статистичної теорії інформації Шеннона вводиться більш загальна міра кількості інформації, відповідно до якої розглядається не сама подія, а інформація про неї. Очевидно, якби інформація про стан події була відома заздалегідь, то не мало би потреби передавати повідомлення: воно не мало б ніякої інформації. Повідомлення набуває сенсу тільки тоді, коли стан системи заздалегідь невідомо, має якийсь ступінь невизначеності. Очевидно, повідомлення, що з'ясовує для нас стан такої системи, дає більше інформації, чим більше була невизначеність системи до цього повідомлення (апріорі).

Ступінь невизначеності системи залежить не тільки від числа можливих станів її, але і від того, як розподілені імовірності між станами.

В теорії інформації міру невизначеності системи одержало назву ентропія.

Якщо система А має n можливих станів

А1 , А2 , . . ., Аn,

причому імовірності цих станів рівні відповідно

p1 , p2 , ..., pn;

p1 + p2 + ... + pn = 1,

то ентропією системи А називається величина:

H(A) = -(p1*log2 p1 + p2*log p2 + ... + pn*log pn),   (2.5)

або

H(A) = -  pі · log q,   (2.6)

тобто  сума добутків імовірностей станів на логарифми цих імовірностей, узята зі зворотним знаком (зворотний знак береться просто для того, щоб ентропія була ненегативною).

Звичайно логарифм береться по підставі 2. Тоді говорять, що ентропія виміряється в двійкових одиницях (бітах):