Лекція 1 Вступ. Поняття комп’ютерних інформаційних технологій, страница 5

1.5 Статистична міра інформації

Кількість інформації

Теорія інформації пропонує для кількісного опису явищ, зв'язаних зі збереженням, передачею і кодуванням інформації, деяку математичну модель, що несе інформацію, яка завжди являє собою сукупність зведень про якусь фізичну систему.

Міра Хартлі

Щоб вимірити кількість інформації, що утримується в повідомленні або сигналі, можна скористатися так називаної аддитивной мірою Хартлі. Відповідно до цієї міри кількість інформації виміряється в двійкових одиницях - бітах. Для знаходження кількості інформації введемо поняття глибини повідомлення і довжини повідомлення

Глибина повідомлення q означає кількість різних елементів (символів, знаків), прийнятих для представлення повідомлень. У кожен момент часу реалізується тільки один який-небудь елемент. Наприклад, для російського алфавіту q = 32, англійського - q = 26, для десяткових чисел q = 10 (десяткові цифри - елементи - 0, 1, 2, 3, 4, 5, 6, 7, 8, 9), що є основою системи числення..

Довжина повідомлення n - кількість позицій, необхідних і достатніх для представлення повідомлень заданої величини.

При заданих глибині і довжині повідомлення кількість усіх можливих повідомлень (N), яких можна представити:, можливо отримати за допомогою слідкуючої формули:

N = qⁿ.                  (1.1)  

Наприклад, для тризначних десяткових чисел N = 10³ = 1000.

Величина N не зручна для оцінки інформаційної ємності. Хартлі ввів поняття аддиативної двійкової логарифмічної міри, яка дозволяє обчислювати кількість інформації в двійкових одиницях – бітах. Таку інформаційну ємність називають мірою Хартлі. Для знаходження кількості інформації по мірі Хартлі, береться двійковий логарифм від кількості можливих значень:

І = log₂ N = n log₂ q              (1.2)

Для двійкової системи числення (q=2) значення b = log2 q означає кількість двійкових розрядів, які потрібні для кодування (представлення) одного елемента. Отже, 1 біт інформації відповідає одній елементарній події, що може відбутися або не відбутися. Така міра кількості інформації зручна тим, що вона дозволяє оперувати мірою як числом. Кількість інформації при цьому еквівалентно кількості двійкових символів 0 або 1.