Лекція 1 Вступ. Поняття комп’ютерних інформаційних технологій, страница 7

Один біт - це ентропія найпростішої фізичної системи, що може бути тільки в одному з двох станів, причому ці стани рівноможливі.

Дійсно, нехай система А володіє двома станами А1 і А2 з імовірностями p1 = 0,5 і p2 = 0,5. Відповідно до формули (2.7), ентропія такої системи дорівнює

H(A) = - (0,5·log2 0,5 + 0,5·log2 0,5) = 1,

тобто  одному бітові.

В класичної теорії інформації кількість інформації, укладеної в повідомленні, виміряється зменшенням ентропії системи під дією цього повідомлення. Нехай, наприклад, до надходження повідомлення ентропія системи була дорівнює двом бітам, а після нього стала рівної одному бітові. З цього ми укладаємо, що інформація, укладена в повідомленні, дорівнює одному бітові.

Поняттю "інформація в бітах" можна дати дуже наочне тлумачення: вона дорівнює числу відповідей "так" і "ні" на розумно поставлені питання, за допомогою яких можна одержати ту ж інформацію.

Нехай, наприклад, система А може мати два равновероятных стани: А1 і А2. Тоді повне з'ясування стану цієї системи несе інформацію один біт, і, виходить, можна неї одержати в результаті відповіді на одне питання. Дійсно, задавши один-єдине питання: " чи Знаходиться система в стані А1?" і одержавши на нього відповідь "так" або "ні", ми цілком з'ясуємо стан системи.

Ентропія має наступні властивості:

а) ентропія завжди ненегативна, тому що значення імовірностей виражаються величинами, що не перевершують одиницю, а їхні логарифми - негативними числами або нулем, так що члени суми (2.7) ненегативні;

б) якщо pі = 1 (а всі інші pj = 0, j = 1, ..., (n-1)), те Н(А) = 0. Це той випадок, коли про досвід або величину все відомо заздалегідь і результат не подає нову інформацію;

в) H(A) = Hmax при p1 = p2 = ... = pn = 1 / n,

при цьому

H(A)=  – log₂ (1/k)= log₂ k ;     

г) ентропія системи, що складає з двох підсистем А и В (стану системи утворяться спільною реалізацією об'єктів А и В), тобто :

Н(АВ) = Н(А) + Н(У).

Якщо події рівноімовірні і статистично незалежні, то оцінки кількості інформації, по Хартлі і Шеннону, збігаються. Це свідчить про повне використання інформаційної ємності системи. У випадку нерівних імовірностей кількість інформації, по Шеннону, менше інформаційної ємності системи.