Положения, связывающие теорию информации с термодинамикой. В чем причина этого самопроизвольного уменьшения информации?

13. Информация и энергия

В течение 1951-1956 г.г. видный американский физик Л. Бриллюэн опубликовал ряд работ, в которых выдвинул положения, связывающие теорию информации с термодинамикой.

Согласно второму началу термодинамики прирост энтропии в изолированной системе может быть только положительным. Энтропия может возрастать и никогда не убывает. Для хранения (содержания) информации используются определенным образом упорядоченные физические системы (штрихи, нанесенные на бумагу; определенный порядок импульсов, посланных в кабель; определенным образом намагниченные участки магнитной ленты; атомы, определенным образом соединенные в данное химическое соединение; молекулы газа, сосредоточенные в данной части пространства и т. п.).

Все эти системы обладают одним общим свойством – свойством постепенно “забывать”, т.е. терять внесенную в них информацию вследствие самопроизвольных процессов диффузии, затухания, размагничивания и т. п. Таким образом, информация, внесенная в физическую систему, всегда с течением времени с той или иной скоростью уменьшается, в лучшем случае остается постоянной, но никогда не возрастает.

В чем причина этого самопроизвольного уменьшения информации?

Когда в систему вносилось упорядочение, то на это затрачивалась энергия. Поэтому упорядоченная система содержит в себе запас энергии и, следовательно, может произвести работу. Вследствие недостаточной изоляции системы от окружающей среды этот запас энергии постепенно расходуется.

Если давление газа в сосуде и в окружающей среде одинаково, то состояние газа в сосуде не несет никакой дополнительной информации (подобно белому штриху на белой бумаге). Если сосуд откачан или накачан, то эта упорядоченность может быть ходя бы частично превращена в работу.

С точки зрения термодинамики возможность выполнения системой некоторой работы характеризуется ее отрицательной энтропией (иначе говоря – негэнтропией). Поэтому изолированная система обладает негэнтропией, если она может совершать работу.

Если система не имеет однородной температуры, а состоит из различных частей с различными температурами, она содержит некоторое количество негэнтропии. Разность давлений в различных частях системы является другим случаем наличия негэнтропии. Разность электрических потенциалов представляет собой еще один пример.

Свойства информации, как ее понимают в теории информации, и свойства термодинамической энтропии оказываются тождественными. Подобны и формулы, которые определяют эти два понятия. Формула Больцмана – Планка для термодинамической энтропии имеет вид.

S = k ln P, где S – энтропия рассматриваемой системы, Р – число элементарных микросостояний, k – постоянная Больцмана.

В теории информации

I = K ln N, где I – содержащаяся в системе информация, N – число возможных состояний системы, K – коэффициент, зависящий от выбора единиц, предполагаемых безразмерными.

Энтропия связана с вероятностью. Можно создать искусственно замкнутую изолированную систему с очень маловероятной структурой. Если предоставить эту систему самой себе, то она будет эволюционировать в сторону более вероятной структуры. Вероятность имеет естественную тенденцию к возрастанию, как и энтропия. Энтропия может интерпретироваться как мера беспорядочности в физической системе или как мера недостатка информации о реальной структуре системы.

Действительно, имеется множество микроскопических переменных, которые невозможно в точности измерить: положение и скорость отдельных атомов, квантовые состояния этих атомов или молекулярных структур, и т.д. Все эти неизвестные величины дают системе возможность принимать разнообразные квантовые структуры или микросостояния. Число этих состояний велико, но конечно. Каждая из этих микроструктур может быть реализована в некоторый данный момент, недостаток информации соответствует действительному беспорядку в скрытых степенях свободы системы.

Получение информации связано с затратой энергии. Чтобы разместить какое-то число молекул газа в одной части сосуда, разделенного перегородкой, в то время как другая часть сосуда остается пустой, необходимо затратить работу.

Возможность использования второго начала термодинамики при анализе целенаправленной, разумной деятельности была рассмотрена Д.К.Максвеллом, который предложил проанализировать схему следующего опыта. Сосуд с газом разделен пополам перегородкой с малым отверстием, закрытым подвижной заслонкой. Заслонкой управляет разумное существо или прибор. Это существо впоследствии получило название демона Максвелла. Если демон пропускает молекулы только в одну сторону, то возникает избыток давления, за счет чего возможна работа двигателя, и тем самым осуществляется вечный двигатель второго рода, нарушающий второе начало. Это – демон давлений. Возможен другой демон, демон температуры, который пропускает в одну сторону медленные молекулы, а в другую – быстрые, создавая тем самым разность температур, которая может быть использована для работы тепловой машины. В итоге вновь нарушается второе начало термодинамики.