Чем больше интересующее нас событие имеет случайных исходов, тем ценнее сообщение о его результате, тем больше информации.

Сообщение о событии, у которого только два одинаково возможных исхода, содержит одну единицу информации, называемую битом. Выбор единицы информации не случаен. Он связан с наиболее распространенным двоичным способом ее кодирования при передаче и обработке.

Событие может иметь и неравновероятные исходы. Так, при футбольном матче между сильной и слабой командами вероятность победы сильной команды велика - например, 4/5. Вероятность ничьей намного меньше, например 3/20. Вероятность же поражения совсем мала.

Выходит, что количество информации - это мера уменьшения неопределенности некоторой ситуации. Различные количества информации передаются по каналам связи, и количество проходящей через канал информации не может быть больше его пропускной способности. А ее определяют по тому, какое количество информации проходит здесь за единицу времени.

Информацию «просеивают» самым тщательным образом. В телеграфе часто встречающиеся буквы, сочетания букв, даже целые фразы изображают более коротким набором нулей и единиц, а те, что встречаются реже,- более длинным. В случае, когда уменьшают длину кодового слова для часто встречающихся символов и увеличивают для редко встречающихся, говорят об эффективном кодировании информации.

Но на практике довольно часто случается, что код, возникший в результате самого тщательного «просеивания», код удобный и экономный, может исказить сообщение из-за помех, которые всегда, к сожалению, бывают в каналах связи: искажения звука в телефоне, атмосферные помехи в радио, искажение или затемнение изображения в телевидении, ошибки при передаче в телеграфе. Эти помехи, или, как их называют специалисты, шумы, обрушиваются на информацию. А от этого бывают самые невероятные и, естественно, неприятные неожиданности.

Поэтому для повышения надежности в передаче и обработке информации приходится вводить лишние символы - своеобразную защиту от искажений. Они - эти лишние символы - не несут действительного содержания в сообщении, они избыточны. С точки зрения теории информации все то, что делает язык красочным, гибким, богатым оттенками, многоплановым, многозначным, - избыточность.

Конечно, если бы люди пользовались только такого рода кодами, без избыточности в сообщениях, то все «информационные формы» - книги, доклады, статьи - были бы предельно краткими. Но проиграли бы в доходчивости и красоте.

Не нашли, что искали? Воспользуйтесь поиском: