Артық ақпараттың болуы, негізгі түсініктер.

Егер де мәлімет көзінің энтропиясы осы берілген сапалық белгілерден тұратын алфавит үшін максималды энтропияға тең емес болса, онда ол алдымен берілген мәлімет көзінің өте көп ақпаратқа ие болатындығын білдіреді.

Мұндай мәлімет көзінің абсолютты жүктелмеуі:

(бит/символ) (2.3)

Артық ақпараттың болуы алфавит символымен толық жүктелмеуін көрсетеді және шексіз өлшем болып табылады.

(2.4)

мұндағы: – қысу коэффициенті.

Ақпараттың артық болуының жалпы түсініктемесімен бірге оның жеке түрлері де бар:

1) Мәліметтердегі символдардың біркелкі таралмауына байланысты болатын ақпарат;

(2.5)

2) Мәлімет символдары арасындағы статистикалық байланыс себебінен болатын артық ақпарат

(2.6)

3) Толық артық ақпарат:

(2.7)

2.1-мысал. Мәлімет алфавитінен құрастырылған мәліметінің артық ақпарат санын анықтау қажет.

Шешуі:

Төрт әріптен тұратын алфавит үшін максималды энтропия:

бит/символ

Мәлімет символына орташа энтропия:

Не нашли, что искали? Воспользуйтесь поиском: