Page 30 - 4365

ПРАКТИЧНЕ ЗАНЯТТЯ № 9

Тема: кількісне оцінювання інформації.
Мета роботи: набути практичних навичок в обчисленні
параметрів передавання інформаційного сигналу.

Теоретичні відомості

Кількість інформації I(a i), що міститься в символі a i,
вибраному з можливих значень {a i}, (i=1, 2, 3, ... , L) , де L -
обсяг алфавіту, з імовірністю Р(a i) визначається з виразу:
I (a )   log P (a ) . (29)
i 2 i
Основа логарифма може бути довільною, воно
визначається лише системою одиниць вимірювання кількості
інфорції. Якщо вибрано основу логарифма – 2, то інформація
вимірюється в двійкових одиницях (бітах). Одна двійкова
одиниця інформації (1 біт) – це кількість інформації, яка
міститься в одному з двох обраних з рівною імовірністю
символів.
Середня кількість інформації Н(А), що припадає на один
символ видаваних дискретним джерелом незалежних
повідомлень з об'ємом алфавіту – L, можна визначити як
математичне очікування (середнє значення) дискретної
випадкової величини I(a), яке визначає кількість інформації в
одному випадково обраному символі (знаку, букві) a i:
L
H ( ) A  M  (aI  )    P (a ) log P (a ). (30)
i i 2 i
i 1 
Ця величина називається ентропією джерела. Неважко
показати, що максимальною ентропією володіє джерело, яке
складається з елементів з рівними ймовірностями, при цьому
максимальна ентропія визначається як:

29