Астронет > Информация, термодинамика и конструкция биологических систем

Астронет: СОЖ Информация, термодинамика и конструкция биологических систем
http://variable-stars.ru/db/msg/1176261

ИНФОРМАЦИЯ, ТЕРМОДИНАМИКА И КОНСТРУКЦИЯ БИОЛОГИЧЕСКИХ СИСТЕМ

Л.А.Блюменфельд (МГУ им. М.В.Ломоносова)
Опубликовано в Соросовском образовательном журнале, N 7, 1996 г. Содержание

ЧТО ТАКОЕ ИНФОРМАЦИЯ?

"Я бросал игральный кубик пять раз и каждый раз выпадало два очка". "Из колоды, содержащей 32 карты, я наугад выбрал одну, и она оказалась дамой пик". "Я взвесил образец на весах с точностью $\pm$ 10 грамм. Вес оказался равным 100 грамм. Я повторил взвешивание на весах с точностью $\pm$ 1 грамм, и вес оказался равным 99 грамм". В каком из этих трех случаев я получил больше информации? Во всех этих примерах речь идет о получении сообщения, ограничивающего возможность выбора вариантов значения некоторой величины. В этом смысле любое измерение ничем не отличается от получения сообщения по любым каналам связи. Проблема оценки количества информации, содержащегося в сообщении, была решена в 1949 году [Shannon C.E., Weaver W., 1949]. Для упрощенной ситуации: когда может произойти 1/p событий с одинаковыми вероятностями $p \le 1$ для каждого из них, количество информации I определяется формулой

$I = \log_2 \frac{p_1}{p}$ ,

(1)

где р - априорная вероятность некоторого события (то есть вероятность до получения сообщения), а р₁ - вероятность после получения сообщения. Если сообщения достоверны и однозначны, то р₁ = 1 и

$I = \log_2 p$ .

(2)

В качестве единицы информации I принимают количество информации в достоверном сообщении о событии, априорная вероятность которого равна 1/2. Эта единица получила название "бит" (от английского binary digits). В первом из приведенных выше примеров р = (1/6)⁵ = 1/7776 и $I = \log_2 7776 \approx 12,9$ бит; во втором примере I = - log₂(1/32) = 5 бит. В третьем примере повышение точности измерения в 10 раз приводит к десятикратному сужению интервала возможных значений измеряемой величины и, следовательно, к уменьшению в 10 раз вероятности получения измеренного значения: $I = \log_2 (1/10) \approx 3,33$ бит.

Вперед