ТОР 5 статей:
Методические подходы к анализу финансового состояния предприятия
Проблема периодизации русской литературы ХХ века. Краткая характеристика второй половины ХХ века
Характеристика шлифовальных кругов и ее маркировка
Служебные части речи. Предлог. Союз. Частицы
КАТЕГОРИИ:
- Археология
- Архитектура
- Астрономия
- Аудит
- Биология
- Ботаника
- Бухгалтерский учёт
- Войное дело
- Генетика
- География
- Геология
- Дизайн
- Искусство
- История
- Кино
- Кулинария
- Культура
- Литература
- Математика
- Медицина
- Металлургия
- Мифология
- Музыка
- Психология
- Религия
- Спорт
- Строительство
- Техника
- Транспорт
- Туризм
- Усадьба
- Физика
- Фотография
- Химия
- Экология
- Электричество
- Электроника
- Энергетика
Формула Шеннона. Информационная энтропия.
В кибернетике источник информации обычно представляется в виде следующих друг за другом в случайном порядке сообщений. Пусть источник посылает k сообщений о событиях, характеризуемых каждое своей вероятностью рi. Для оценки среднего количества информации, приходящегося на одно сообщение К.Шеннон предложил следующую формулу
(3)
Таким образом, формула Шеннона определяет среднее количество информации, приходящееся на одно в серии из k сообщений.
Количество информации, приходящееся в среднем на одно сообщение, можно рассматривать, как меру неопределенности сведений об источнике информации, которая имела место до получения сообщения, и была устранена после получения этого сообщения. Мера неопределенности сведений об источнике информации называется информационной энтропией (Н). Математическая запись информационной энтропии совпадает с формулой среднего количества информации:
(4)
Если источник выдает сведения об одном достоверном событии, то информационная энтропия будет минимальна и равна 0, т.е. неопределенности сведений нет. Если источник выдает k равновероятный сообщений, то вероятность каждого сообщения рi. будет равна 1/ k. Тогда информационная энтропия будет максимальна и равна
. (5)
Эта формула называется формулой Хартли. Согласно этой формуле, чем больше число возможных состояний системы k, тем больше ее информационная энтропия.
Общее количество информации рассматривается как разность значений информационной энтропии до и после получения информации:
I = Hдо – Hпосле
Количество информации может быть как положительным, так и отрицательным в зависимости от того, приближаемся мы к цели или удаляемся от нее по мере получения информации (как в детской игре – «тепло – холодно»).
По информационной энтропии можно определять степень детерминированности системы. Условный показатель уровня детерминированности ввел У.Эшби:
, (6)
где Hmax – максимальная энтропия, которой соответствует наименьшая определенность (детерминированность) системы, 
- средняя энтропия на одно состояние.
Если этот показатель R лежит в интервале 1 ÷ 0,3, то система детерминированная, в интервале 0,3 ÷ 0,1 – вероятностно-детерминированная, если же этот показатель меньше 0,1, то система вероятностная.
Не нашли, что искали? Воспользуйтесь поиском: