Вероятностный подход.

Рассмотрим в качестве примера опыт, связанный с бросанием правильной игральной - кости, имеющей 6 граней (наиболее распространенным является случай шестигранной кости: N = 6). Результаты данного опыта могут быть следующие: выпадение грани с одним из следующих знаков: 1,2,...N.

Введем в рассмотрение численную величину, измеряющую неопределенность - энтропию (обозначим ее H ). Величины N н Н связаны между собой некоторой функциональной зависимостью:

а сама функция H является возрастающей, неотрицательной и определенной (в рассматриваемом нами примере) для N = 1, 2,... 6.

Рассмотрим процедуру бросания кости более подробно:

1) готовимся бросить кость; исход опыта неизвестен, т.е. имеется некоторая неопределенность; обозначим ее H1;

2) кость брошена; информация об исходе данного опыта получена; обозначим количество этой информации через I;

3) обозначим неопределенность данного опыта после его осуществления через H2. За количество информации, которое получено в ходе осуществления опыта, примем разность неопределенностей «до» и «после» опыта:

Очевидно, что в случае, когда получен конкретный результат, имевшаяся неопределенность снята (H1 = 0), и, таким образом, количество полученной информации совпадает с первоначальной энтропией. Иначе говоря, неопределенность, заключенная в опыте, совпадает с информацией об исходе этого опыта. Заметим, что значение H2 могло быть и не равным нулю, например, в случае, когда в ходе опыта следующей выпала грань со значением, большим «3».

Следующим важным моментом является определение вида функции в формуле (1.1). Если варьировать число граней N и число бросаний кости (обозначим эту величину через М), общее число исходов (векторов длины М, состоящих из знаков 1, 2,..., N) будет равно nb степени М:

Так, в случае двух бросаний кости с шестью гранями имеем: X - 6² = 36. Фактически каждый исход X есть некоторая пара (Х1, Х2), где X1 и Х2- соответственно исходы первого и второго бросаний (общее число таких пар - X).

Ситуацию с бросанием М раз кости можно рассматривать как некую сложную - систему, состоящую из независимых друг от друга подсистем. - «однократных бросаний кости». Энтропия такой системы в М раз больше, чем энтропия одной системы (так называемый «принцип аддитивности энтропии»):

Прологарифмируем левую и правую части формулы (1.3)

Обозначив через X положительную константу, получим: f(X)

Подставляем полученное для М значение в формулу (1.4):

Это - формула Хартли.

Важным при введение какой-либо величины является вопрос о том, что принимать за единицу ее измерения. Очевидно, Н будет равно единице при N = 2. Иначе говоря, в качестве единицы принимается количество информации, связанное с проведением опыта, состоящего в получении одного из двух равновероятных исходов (примером такого опыта может служить бросание монеты при котором возможны два исхода: «орел», «решка»). Такая единица количества информации называется «бит».

Все N исходов рассмотренного выше опыта являются равновероятными и поэтому можно считать, что на «долю» каждого исхода приходится одна левая часть общей неопределенности опыта.

Таким образом:

Та же формула (1.6) принимается за меру энтропии в случае, когда вероятности различных исходов опыта неравновероятны (т.е. P_i могут быть различны). Формула (1.6) называется формулой Шеннона.

В качестве примера определим количество информации, связанное с появлением каждого символа в сообщениях, записанных на русском языке. Будем считать, что русский алфавит состоит из 33 букв и знака «пробел» для разделения слов. По формуле (1.5)

Однако, в словах русского языка (равно как и в словах других языков) различные буквы встречаются неодинаково часто.

Не нашли, что искали? Воспользуйтесь поиском: