ТОР 5 статей:
Методические подходы к анализу финансового состояния предприятия
Проблема периодизации русской литературы ХХ века. Краткая характеристика второй половины ХХ века
Характеристика шлифовальных кругов и ее маркировка
Служебные части речи. Предлог. Союз. Частицы
КАТЕГОРИИ:
- Археология
- Архитектура
- Астрономия
- Аудит
- Биология
- Ботаника
- Бухгалтерский учёт
- Войное дело
- Генетика
- География
- Геология
- Дизайн
- Искусство
- История
- Кино
- Кулинария
- Культура
- Литература
- Математика
- Медицина
- Металлургия
- Мифология
- Музыка
- Психология
- Религия
- Спорт
- Строительство
- Техника
- Транспорт
- Туризм
- Усадьба
- Физика
- Фотография
- Химия
- Экология
- Электричество
- Электроника
- Энергетика
Статистическая мера количества информации Шеннона.
Клод Э́лвуд Ше́ннон — американский инженер и математик, его работы являются синтезом математических идей с конкретным анализом чрезвычайно сложных проблем их технической реализации.
Является основателем теории информации, нашедшей применение в современных высокотехнологических системах связи. Шеннон внес огромный вклад в теорию вероятностных схем, теорию автоматов и теорию систем управления — области наук, входящие в понятие «кибернетика». В 1948 году предложил использовать слово «бит» для обозначения наименьшей единицы информации.
Вероятность - число, к которому стремится частота появления определенного схода опыта при бесконечном увеличении количества опытов.
частота 
(вероятность).
Пусть в передаваемом сообщении есть:
Алфавит – 
; - символов в передаваемом сообщении; 
- сколько раз появляется символ.
Найти среднее значение информации, которое несет символ алфавита А.
Чем чаще встречается символ тем больше информации он несет.
Энтропия характеризует неопределенность источника с учетом вероятности появления определенных сообщений.
Свойства энтропии.
1. 
, если 
.
2. 
.
3. 
, если все вероятности одинаковы (
Не нашли, что искали? Воспользуйтесь поиском: