Краткие теоретические сведения. Для нахождения количества информации с использованием алфавитного подхода необходимо знать мощность используемого алфавита

Для нахождения количества информации с использованием алфавитного подхода необходимо знать мощность используемого алфавита. Так как определяем информационную емкость не одного символа, а нескольких взаимосвязанных символов в слове, предложении, тексте, то необходимо знать и количество символов в слове.

Общее число неповторяющихся сообщений, которое может быть составлено из алфавита т путем комбинирования по п символов в сообщении,

N =mⁿ

При алфавитном подходе считается, что каждый символ текста имеет информационную емкость. Информационная емкость знака зависит от мощности алфавита. Это выражается формулой:

N=2ⁱ

N – количество знаком в алфавите (мощность),

I – информационный вес одного символа.

Количество информации в сообщении рассчитывается по формуле:

I=K*i

I – количество информации в сообщении

K – количество символов в сообщении

Неопределенность, приходящаяся на символ первичного (кодируемого) алфавита, составленного из равновероятных и взаимонезависимых символов,

Н = log m.

Основание логарифма влияет лишь на удобство вычисления.

а) в двоичных единицах

Н = log₂ m бит/символ;

б) в десятичных единицах

Н = lg m дит/символ,

где log₂ m = 3,32 lg m, 1 бит =0,3 дит;

в) в натуральных единицах

Н = ln m нат/символ,

где log₂m = 1,443 ln m, 1 бит =0,693 нат.

Не нашли, что искали? Воспользуйтесь поиском: