Содержательный подход

⇐ Предыдущая 123 4 5 6 7 8 9 10 Следующая ⇒

Вопрос «как измерить информацию?» очень непростой. Ответ на него зависит от того, что понимать под информацией. Но поскольку определять информацию можно по-разному, то и способы измерения тоже могут быть разными.

Выше мы подошли к информации только с одной стороны: выяснили, чем она является для человека. Другую точку зрения на информацию, объективную, то есть не связанную с ее отношением к человеку, мы обсудим несколько позже.

Итак, пока остаемся на прежней позиции: информация — это знания человека. Отсюда следует вывод, что сообщение информативно (содержит ненулевую информацию), если оно пополняет знания человека. Например, прогноз погоды на завтра — информативное сообщение, а сообщение о вчерашней погоде неинформативно: нам это уже известно.

Нетрудно понять, что информативность одного и того же сообщения может быть разной для разных людей. Например: 2x2 = 4 информативно для первоклассника, изучающего таблицу умножения, и неинформативно для старшеклассника. Отсюда, казалось бы, следует вывод, что сообщение информативно для человека, если оно содержит новые сведения, и неинформативно, если сведения старые, известные.

Получение всяких знаний должно идти от простого к сложному. И тогда каждое новое сообщение будет понятным, а значит, будет нести информацию для человека. Сообщение несет информацию для человека, если содержащиеся в нем сведения являются для него новыми и понятными.

Единица измерения информации была определена в науке, которая называется теорией информации. Эта единица называется «бит». Ее определение звучит так: Сообщение, уменьшающее неопределенность знаний в два раза, несет 1 бит информации.

В этом определении есть понятия, которые требуют пояснения.

Что такое «неопределенность знаний»? Лучше всего это объяснить на примерах.

Допустим, вы бросаете монету, загадывая, что выпадет: орел или решка? Есть всего два варианта возможного результата бросания монеты. Причем, ни один из этих вариантов не имеет преимущества перед другим. В таком случае говорят, что они равновероятны.

Так вот, в этом случае перед подбрасыванием монеты неопределенность знаний о результате равна двум.

Игральный кубик с шестью гранями может с равной вероятностью упасть на любую из них. Значит, неопределенность знаний о результате бросания кубика равна шести.

Еще пример: спортсмены-лыжники перед забегом путем жеребьевки определяют свой порядковый номер на старте. Допустим неопределенность знаний спортсменом своего номера до жеребьевки равна ста.

Следовательно, можно сказать так: неопределенность знаний о некотором событии – это количество возможных результатов события (бросания монеты, кубика; вытаскивания жребия).

Вернемся к примеру с монетой. После того, как вы бросили монету и посмотрели на нее, вы получили зрительное сообщение, что выпал, например, орел. Произошло одно из двух возможных событий. Неопределенность знаний уменьшилась в два раза: было два варианта, остался один. Значит, узнав результат бросания монеты, вы получили 1 бит информации.

Сообщение о том, что произошло одно событие из двух равновероятных, несет 1 бит информации.

А теперь такая задача: студент на экзамене может получить одну из четырех оценок: «5» - - «отлично», «4» -«хорошо», «3» - - «удовлетворительно», «2» - - «неудовлетворительно». Представьте себе, что ваш товарищ пошел сдавать экзамен. Причем, учится он очень неровно и может с одинаковой вероятностью получить любую оценку от «2» до «5». Вы волнуетесь за него, ждете результата экзамена. Наконец, он пришел и на ваш вопрос: «Ну, что получил?» - ответил: «Четверку!».

Вопрос. Сколько бит информации содержится в его ответе?

Если сразу сложно ответить на этот вопрос, то давайте подойдем к ответу постепенно. Будем отгадывать оценку, задавая вопросы, на которые можно ответить только «да» или «нет».

Вопросы будем ставить так, чтобы каждый ответ уменьшал количество вариантов в два раза и, следовательно, приносил 1 бит информации.

Первый вопрос:

— Оценка выше тройки?

-Да!

После этого ответа число вариантов уменьшилось в два раза. Остались только «4» и «5». Получен 1 бит информации.

Второй вопрос:

- Ты получил пятерку?

- Нет!

Выбран один вариант из двух оставшихся: оценка -«четверка». Получен еще 1 бит информации. В сумме имеем 2 бита.

Сообщение о том, что произошло одно из четырех равновероятных событий несет 2 бита информации.

Метод поиска, на каждом шаге которого отбрасывается половина вариантов, называется методом половинного деления.

Решим еще одну частную задачу, применив этот метод а потом выведем общее правило.

На книжном стеллаже восемь полок. Книга может быть поставлена на любую из них. Сколько информации содержит сообщение о том, где находится книга?

Задаем вопросы:

- Книга лежит выше четвертой полки?

-Нет.

-Книга лежит ниже третьей
полки?

-Да.

-Книга - на второй полке?

- Нет.

-Ну теперь все ясно! Книга лежит на первой полке!

Каждый ответ уменьшал неопределенность в два раза. Всего было задано три вопроса. Значит набрано 3 бита информации. И если бы сразу было сказано, что книга лежит на первой полке, то этим сообщением были бы переданы те же 3 бита информации.

А сейчас попробуем получить формулу, по которой вычисляется количество информации, содержащейся в сообщении о том, что произошло одно из множества равновероятных событий.

Обозначим буквой N количество возможных событий, или, как мы это еще называли, — неопределенность знаний. Буквой i будем обозначать количество информации в сообщении о том, что произошло одно из N событий.

В примере с монетой N = 2, i = 1.

В примере с оценками N = 4, i = 2.

В примере со стеллажом N = 8, i = 3.

Нетрудно заметить, что связь между этими величинами выражается формулой:

Действительно: 2¹ = 2; 2²= 4; 2³ = 8.

Если величина N известна, а i — неизвестно, то формула становится показательным уравнением для определения i.

Например, пусть на стеллаже не 8, а 16 полок. Чтобы ответить на вопрос, сколько информации содержится в сообщении о том, где лежит книга, нужно решить уравнение:

2ⁱ = 16. Поскольку 16 = 2⁴, то i = 4.

Количество информации i, содержащееся в сообщении о том, что произошло одно из N равновероятных событий, определяется из решения показательного уравнения: 2ⁱ = N.

Если значение N равно целой степени числа 2 (4, 8, 16, 32, 64 и т.д.), то такое уравнение решается просто: i будет целым числом.

А чему равно количество информации в сообщении о результате бросания игральной кости, у которой имеется шесть граней и, следовательно, N = 6? Решение уравнения

2ⁱ = 6

будет дробным числом, лежащим между числами 2 и 3, поскольку 2² = 4, а 2³ = 8. С точностью до пяти знаков после запятой решение такое: 2,58496. По таблице 1 можно определить i для различных значений N в диапазоне от 1 до 64.

Таблица 1. Количество информации в сообщении об одном из N равновероятных событий

Алфавитный подход.

А теперь познакомимся с другим способом измерения информации. Этот способ не связывает количество информации с содержанием сообщения, и называется он алфавитным подходом.

Все множество используемых в языке символов будем традиционно называть алфавитом. Обычно под алфавитом понимают только буквы, но поскольку в тексте могут встречаться знаки препинания, цифры, скобки, то мы их тоже включим в алфавит. В алфавит также следует включить и пробел (промежуток между словами).

Полное число символов алфавита принято называть мощностью алфавита. Будем обозначать эту величину буквой N. Например, мощность алфавита из русских букв и дополнительных символов равна 54.

Представьте себе, что текст к вам поступает последовательно, по одному знаку, словно бумажная ленточка, выползающая из телеграфного аппарата. Предположим, что каждый появляющийся на ленте символ с одинаковой вероятностью может быть любым символом алфавита. (В действительности это не совсем так, но для упрощения примем такое предположение.)

В каждой очередной позиции текста может появиться любой из N символов. Каждый символ несет i бит информации; число i можно определить из уравнения:

2ⁱ = N.

Для N = 54, используя таблицу 1, получаем:

i = 5,755 бит.

Cтолько информации несет один символ в русском тексте! А теперь для того, чтобы найти количество информации во всем тексте, нужно посчитать число символов в нем и умножить на i.

При алфавитном подходе к измерению информации количество информации от содержания не зависит. Количество информации зависит от объема текста (то есть от числа знаков в тексте) и от мощности алфавита.

Отсюда следует, например, что нельзя сравнивать информационные объемы текстов, написанных на разных языках, только по объему. У них отличаются информационные веса одного символа так как мощности алфавитов разных языков - различные.

Сформулируем правило, как измерить информацию, используя для этого алфавитный подход.

Количество информации, содержащееся в символьном сообщении, равно Кх i, где К— число символов в тексте сообщения, а i-информационный вес символа, который находится из уравнения 2ⁱ = N, где N — мощность используемого алфавита.

Применение алфавитного подхода удобно прежде всего при использовании технических средств работы с информацией. В этом случае теряют смысл понятия «новые — старые», «понятные -непонятные» сведения. Алфавитный подход является объективным способом измерения информации в отличие от субъективного, содержательного, подхода.

Удобнее всего измерять информацию, когда мощность алфавита N равна целой степени числа 2. Например, если N = 16, то каждый символ несет 4 бита информации потому, что 2⁴ = 16. А если N = 32, то один символ «весит» 5 бит.

Ограничения на максимальную мощность алфавита теоретически не существует. Однако есть алфавит, который можно назвать достаточным. С ним мы скоро встретимся при работе с компьютером. Это алфавит мощностью 256 символов. В таком алфавите можно поместить практически все необходимые символы: латинские и русские буквы, цифры, знаки арифметических операций, скобки, знаки препинания. В такой алфавит помещают даже значки, с помощью которых можно чертить рамки, таблицы. Их называют знаками псевдографики.

Поскольку 256 = 2⁸, то один символ этого алфавита «весит» 8 бит. Причем 8 бит информации — это настолько характерная величина, что ей присвоили свое название - байт.

1 байт = 8 бит

Сегодня очень многие люди для подготовки писем, документов, статей, книг используют компьютерные текстовые редакторы. С этими средствами вы подробно познакомитесь несколько позже. Они позволяют включать в текст буквы разных алфавитов, математические значки, дают возможность чертить таблицы.

Компьютерные редакторы работают с алфавитом мощностью 256 символов. Текст этого учебника набран с помощью компьютерного редактора.

В этом случае легко подсчитать объем информации в тексте. Если одни символ алфавита несет 1 байт информации, то надо просто сосчитать число символов; полученное значение даст информационный объем текста в байтах.

Пусть небольшая книжка содержит 150 страниц; на каждой странице; - 40 строк, в каждой строке - 60 символов. Значит страница содержит 40 х 60 = 2400 байт информации. Объем всей информации в книге:

2400 х 150 = 360 000 байт.

Уже на таком примере видно, что байт — «мелкая» единица. А представьте, что нужно измерить информационный объем научной библиотеки. Какое это будет громадное число в байтах!

В любой системе единиц измерения существуют основные единицы и производные от них. Последние нужны для измерения либо очень больших, либо очень маленьких величин.

Для измерения больших объемов информации используются производные от байта единицы.

1 килобайт = 1Кб = 2¹⁰ байт = 1024 байта

1 мегабайт = 1Мб = 2¹⁰ Кб = 1024 Кб

1 гигабайт = 1Гб = 2¹⁰ Мб = 1024 Мб

⇐ Предыдущая 123 4 5 6 7 8 9 10 Следующая ⇒

Не нашли, что искали? Воспользуйтесь поиском:

vikidalka.ru - 2015-2024 год. Все права принадлежат их авторам! Нарушение авторских прав | Нарушение персональных данных