Теоремы о возможности сжатия информации при кодировании.

1. Рассматривается источник без памяти с энтропией, возможно, так закодировать буквы, порождённые этим источником по средствам префиксного кода, составленного в алфавите B, что среднее число символов на букву удовлетворяет неравенству

Данная теорема позволяет привести интерпретацию энтропии источника в случае, когда среднее число двоичных символов алфавита B, требуемых для кодирования буквы, порожденных источником, не меньше энтропии источника и не превосходит энтропию этого источника более чем на 1.

2. Введем коэффициент сжатия, обобщающий понятие средней длины кодового слова. Пусть марковский источник с энтропией , порождающий последовательность , –длина соответствующего кодового слова, коэффициентом сжатия последовательности длины назовем величину .

- вероятность последовательности

– длина кодового слова этой последовательности

При

– коэффициент сжатия кода.

Не нашли, что искали? Воспользуйтесь поиском: