Теория информации. Подходы Хартли и Шеннона

Математическое моделирование в теплоэнергетике

ТЕОРИЯ ИНФОРМАЦИИ. КЛЮЧЕВЫЕ ПОНЯТИЯ. Лекция №11

В основе всей теории информации лежит открытие, сделанное Р.Хартли в 1928 году, и состоящее в том, что информация допускает количественную оценку. Завершенный и полный вид этой теории придал в 1948 году К.Шеннон. Само понятие "информация" относится к фундаментальным понятиям предельного уровня общности, и, как многие подобные понятия, не имеет строго определения. Остается раскрыть его содержание просто объяснив, что оно означает. Удобнее всего это сделать, на примере двух исторически первых подходов к решению этой задачи: подходов Хартли и Шеннона, первый из которых основан на теории множеств и комбинаторике, а второй – на теории вероятностей.

Подход Хартли. Этот подход основывается на весьма фундаментальных теоретико–множественных, по существу комбинаторных основаниях, а также нескольких интуитивно ясных и вполне очевидных предположениях. Рассмотрим эти предположения. Будем считать, что если существует множество элементов и осуществляется выбор одного из них, то этим самым сообщается или генерируется определенное количество информации. Что это за информация? Она состоит в том, что до выбора не было известно, какой элемент будет выбран, а после (или в результате) выбора это становится известным. Однако, в науке утверждения в отрицательной форме считаются "плохим тоном", т.е. желательно выражаться более определенно. Что это значит: "Не было известно". В действительности нам отлично известно, что результат выбора является заранее не определенным, т.е. "обладает неопределенностью".

Найдем вид функции, связывающей количество информации, которое мы получаем при выборе некоторого элемента из множества, с количеством элементов в этом множестве, т.е. с его мощностью. Если множество элементов, из которых осуществляется выбор, состоит из одного–единственного элемента, то ясно, что его выбор предопределен, т.е. никакой неопределенности выбора нет. То есть, если мы узнаем, что выбран этот единственный элемент