Различные подходы к определению информации. Количество информации. Единицы измерения информации

Основоположником теории информации является американский математик и исследователь К. Шеннон(1916-20**). Его фундаментальная работа («Работа по теории информации», «Теория информации») по теории информации была опубликована в 1948 году. Эта книга изначально была засекречена. 1948 год считается началом изучения теории информации в нашей стране.

Понятие «информация» происходит от латинского «informatio» - разъяснение, сведения, данные.

Рассмотрим несколько подходов к определению данного понятия.

1 Подход. В широком смысле «информация» - это отражение действительного мира (так определяют философы).

2 Подход – подход К. Шеннона (содержательный подход). Согласно данному подходу, информация – это сведения или данные, не содержащие неопределенность для адресата. Если все же информация содержит некоторую неопределенность (отрицательную информацию), то её можно воспринимать только с некоторой вероятностью. Следовательно, при наличии неопределенности получатель информации каким-либо образом (например, с помощью наводящих вопросов) старается свести к минимуму саму неопределенность. Таким образом, если получателю информации удается исключить неопределенность полностью (мы имеем чистую информацию), то он владеет информацией вполне.

3 Подход – Вероятностный. Вероятностный подход связан с таким понятием как «вероятность». Вероятность - это отношение количества тех наблюдений, при которых рассматриваемое событие наступило, к общему количеству наблюдений. Такая трактовка допустима в случае достаточно большого количества наблюдений или опытов.

4 Подход – Алфавитный подход (или подход академика А.Н. Колмогорова).

Алфавит – это непустое упорядоченное множество букв. Так, например, алфавит заглавных букв русского языка или алфавит десятичных цифр. Слово – это любая последовательность букв заданного алфавита. По Колмогорову «информация» - это всё то, что можно представить в виде последовательности слов заданного алфавита. На практике для компьютерной информации применяется двоичный алфавит.

Количество информации можно рассматривать как меру уменьшения неопределенности знания при получении информационных сообщений.

Для измерения количества информации при неравновероятном подходе используют следующие формулы:
p=K/N, где К -количество интересующих нас событий (достать синий карандаш K =8), N - общее количество событий, р –вероятность;
1/p=2ⁱ , где i -количество информации, которое мы получим, при том или ином исходе события

Формулы Хартли и Шеннона для нахождения количества информации I (m) = -log₂ P_m (бит), где m – произвольное сообщение, I (m) – количество информации, содержащееся в сообщении m, P_m – вероятность появления в сообщении m. К. Шеннон предложил формулу для вычисления количества информации для событий с различными вероятностями. Если I - количество информации,
К - количество возможных событий,
р_i - вероятности отдельных событий,
то количество информации для событий с различными вероятностями можно определить по формуле:

где i принимает значения от 1 до К.
Формулу Хартли теперь можно рассматривать как частный случай формулы Шеннона:

I = - / К log₂ (1 / К) = I = log ₂ К.

За единицу количества информации принимается такое количество информации, которое содержится в информационном сообщении, уменьшающем неопределенность знания в два раза. Такая единица названа битом. 1 байт = 8 битов = 2³ битов.В компьютере информация кодируется с помощью двоичной знаковой системы, и поэтому в кратных единицах измерения количества информации используется коэффициент 2ⁿ 1 килобайт (Кбайт) = 2¹⁰ байт = 1024 байт;

1 мегабайт (Мбайт) = 2¹⁰ Кбайт = 1024 Кбайт;

1 гигабайт (Гбайт) = 2¹⁰ Мбайт = 1024 Мбайт.

4 Экономическая информация – это преобразованная и обработанная совокупность сведений, отражающая состояние и ход экономических процессов. Экономическая информация циркулирует в экономической системе и сопровождает процессы производства, распределения, обмена и потребления материальных благ и услуг. Экономическую информацию следует рассматривать как одну из разновидностей управленческой информации.

Экономическую информацию получают в процессе реализации функции учета и контроля за деятельностью экономического объекта, т.е. в процессе наблюдения за внутренним состоянием объекта. Результаты наблюдения контролируются (сравнительно с запланированным состоянием) и анализируются величины отклонения. Результаты анализа и являются основанием для принятия решения по управлению работой (поведением) экономического объекта.

Свойства экономической информации:

· отражает разностороннюю деятельность предприятий через систему натуральных, стоимостных и др. показателей;

· отражается в тех или иных носителях (первичных документах, магнитных, оптических носителях) и представлена в виде конечных результатов;

· является цифровой, буквенно-цифровой и алфавитной;

· характеризуется большой массовостью и объемностью;

· требует группировки, арифметической или логической обработки и сжатия информации при передаче из одного управленческого звена в другой;

· характеризуется длительностью хранения (архивы);

· характеризуется повторяемостью циклов возникновения обработки в установленных временных интервалах;

· для обработки экономической информации характерны сравнительно простые алгоритмы;

· преобладание логических операций (выборка, упорядочивание, корректировка) над арифметическими;

· табличная форма исходных и результирующих данных;

· многообразие источников информации и ее потребителей.

Экономическая информация может быть:

 управляющая (в форме прямых приказов, плановых заданий и т.д.);

 осведомляющая (в отчетных показателях, выполняет в экономической системе функцию обратной связи).

5 Количество информации, содержащееся в одной букве заданного алфавита. Примеры

По умолчанию (если в задаче не указано специально) при решении задачи указывается 256-символьный алфавит – таблица ASCII (мощность алфавита = 256 символов). Значит, на один символ (букву, цифру, знак, знак препинания, пробел) приходится 8 бит информации или 1 байт.

Если символ занимает 1 байт, то он принадлежит кодировке ASCII

В UNICODE один символ занимает 2 байта(16 бит)

Формула Хартли, выведенная из вероятностно-статистического подхода К.-Э. Шеннона N=2ⁱ, i=log₂N, где i – количество информации (в битах), N – количество информационных сообщений (событий). В одном случае рассматриваются равновероятностные события, в другом – мощность алфавита.

Дан 64-символьный алфавит. Какой объем информации несет 1 символ?

2ⁱ=N; 2ⁱ=64; i=6(бит)

Не нашли, что искали? Воспользуйтесь поиском: