Взаимодействия целеустремленных систем. Чувства и общение, страница 5

В некотором смысле жаль, что математические понятия, восходящие к Хартли, вообще были названы «информацией». Формула для Я является в действительности мерой только одной стороны понятия информация, отражая только статистическую редкость или «ценность неожиданности» источника сигналов (с. 50).

Вопреки своей терминологии Шеннон занимался скорее тем, что можно назвать количеством переданного сообщения, а не количеством сообщенной информации. Он прежде всего занимался системами, в которых каждое возможное сообщение может быть закодировано в виде комбинации из двух символов. Например, если имеется четыре возможных сообщения и два символа (0 и 1), сообщения могут быть представлены как 00, 01, 10 и 11.

147

Далее, чтобы выбрать одно сообщение из четырех, можно последовательно произвести два выбора из двух символов (т. е. двоичные выборы). Один двоичный выбор допускает два сообщения (0 и 1), а три двоичных выбора допускают восемь сообщений (000, 001, 010, 100, 110, 101, 011 и 111). Вообще п двоичных выборов допускают 2" возможных сообщений.

Для Шеннона количество информации, содержащейся в сообщении, — это мера свободы выбора этого сообщения*. Единица выбора определена как отбор одного из двух в равной степени доступных символов. Таким образом, при отборе одного из двух одинаково доступных символов, реализуется одна единица выбора и полученное сообщение из одного символа содержит одну единицу информации.

Вообще, если в некотором состоянии имеются М в равной степени доступных сообщений, выбор одного содержит х единиц информации, где х = log2 М.

Равная доступность символов означает равную вероятность их выбора отправителем. Иначе говоря, если имеются М возможных сообщений и вероятность каждого быть отобранным равна 1/М, то существует полная свобода выбора. Если вероятность выбора какого-нибудь сообщения (pi) отличается от 1/М, выбор оказывается не полностью свободным. В предельном случае, если вероятность выбора какого-то одного сообщения из данного множества равна единице, то нет никакой свободы выбора, и то единственное сообщение, которое всегда отбирается, не имеет никакой информации.

Для того чтобы сразу охватить и случай, когда выборы неравновероятны (наряду со случаем, когда они равновероятны), Шеннон вывел следующую общую меру количества информации (обозначаемую в его системе символом Н), содержащейся в данном состоянии: Н = å pi log pi, где pi — вероятность выбора i-го сообщения. Если употребляется log2, то Н выражается в двоичных единицах, которые называются битами. Таким образом, состояние, в котором заключено два равновероятных сообщения, содержит один бит информации.

Вводимая далее мера информации** также будет связана со свободой выбора, т. е. это будет функция вероятностей выбора, сопряженных с альтернативными способами действий. Но все же это будет другая функция ввиду различия в отборе между сообщениями и способами действия. Разработанная здесь мера является функцией числа альтернативных потенциальных способов действия т.

Употребляя слово информации по Шеннону, нельзя указать, сколько информации имеет человек, можно только сказать, сколько информации содержит сообщение. Но ясно, что с точки зрения теории поведения человек гораздо важней***.

* Альтернативный подход к измерению Синтаксической информации был предложен Д. М. Маккейем (1950 и 1955). Рассуждения о его применении можно найти у Пейна (1966).

** Если не оговорено обратное, слово информация впредь будет употребляться в смысле прагматическая информация.

*** Попытки использовать теорию связи Шеннона в науке о поведении вряд ли можно назвать успешными. См. Харди и Курта (1963), где критически разобраны эти попытки. Шрамм (1966) писал: «...мы должны откровенно признать трудность в преодолении разрыва между понятием информации в смысле Н-формулы (которая касается только количества двоичных выборов, необходимых для спецификации события в системе) и нашей концепцией информации в общении людей...» (с. 534).