Оцінка кількості інформації

Найважливіший етап у розвитку теорії інформації - засоби кількісної оцінки інформації. Внаслідок цього з’являється можливість порівняти інформаційні потоки у об'єктах, різних за своєю природою (системи зв'язку, обчислювальні машини, процеси управління, нервова система живого організму).

Для вимірювання інформації використовують параметри кількості інформаціїта обсягу інформації, що мають різні вираження й інтерпретацію залежно від форми аналізу інформації.

У 1931 р. французький інженер Р.-Л.Валтат висунув ідею використання бінарної системи числення під час створення механічних лічильних засобів. Бінарна система числення найкраще відображає фізичний стан технічних приладів. У різних системах численняодин розряд має різноманітну вагу, і відповідно змінюється одиниця виміру даних: у бінарній системі числення одиниця виміру - біт; у десятковій системі числення одиниця виміру - діт (десятковий розряд).

Розроблювачі комп'ютерів віддають перевагу бінарній системі числення тому, що в технічному пристрої найпростіше реалізувати два протилежні фізичних стани: деякий фізичний елемент, що має два різних стани: намагніченість у двох протилежних напрямках; прилад, що пропускає або ні електричний струм; конденсатор, заряджений або не заряджений тощо.

Обсяг інформації V, записаної бінарними знаками в пам'яті комп'ютера або на зовнішньому носії інформації, підраховується просто за кількістю необхідних для такого запису бінарних символів. При цьому неможливе не ціле число бітів. Біт - обсяг інформації, записаної одним бінарним знаком - є найменшою можливою одиницею обсягу інформації.

Кількість інформації в повідомленні залежить від імовірності його отримання: чим більш імовірним є повідомлення, тим менша кількість інформації в ньому. Цей підхід, запропонований К.Шенноном, хоч і не враховує змістовний бік інформації, виявився дуже корисним у телекомунікаціях та обчислювальній техніці як основа для оптимального кодування повідомлень.

Кількість інформації C - теоретико-множинна міра величини інформації в одній випадковій змінній відносно іншої.

Біт (bit) - кількість інформації у виборі однієї з двох рівноймовірних подій.

Кількість інформації є мірою зменшення невизначеності однієї події через отримання повідомлення про іншу подію. Приміром, повідомлення "Студент Іванов відвідував усі лекції" збільшує ймовірність твердження "Студент Іванов добре складе екзамен". Якщо між подіями не існує зв’язку, то кількість інформації у першому повідомленні про друге дорівнює нулю. Приміром, повідомлення "Студент Іванов має двох кішок та собаку" не зменшує невизначеність результатів екзамену.

Зовсім не всякий текст, записаний бінарними символами, припускає вимірювання кількості інформації в ньому, але завжди можна виміряти його обсяг. Якщо ж для якогось повідомлення можна визначити й обсяг, і кількість інформації, то вони не обов’язково збігаються, але кількість інформації не може бути більшою за обсяг.

Коефіцієнт інформативності повідомлення - відношення кількості інформації до обсягу даних.

Коефіцієнт інформативності повідомлення Y визначається відношенням кількості інформації до обсягу даних, тобто , причому завжди . Збільшення коефіцієнта Y призводить до збільшення ефективності перетворення інформації у системі.

Не нашли, что искали? Воспользуйтесь поиском: