Page 15 - 128

Частина друга

КІЛЬКІСНЕ ВИЗНАЧЕННЯ ІНФОРМАЦІЇ.

2.1 Одиниці вимірювання інформації і інформативності

Будь-яке повідомлення, що передається, утримує в собі
обмежену кількість інформації про будь-яку подію. “Подія”
при цьому розуміється в самому широкому розумінні цього
слова. Кількість інформації, що передається або одержується,
прийнято зв'язувати із ступінню несподіваності події, про яку
говориться в повідомленні. Чим несподіваніша подія, тим
більше інформації в повідомленні про неї.
При такій постановці питання для надання поняттю
“кількість інформації” чіткого математичного сенсу потрібно
перш за все дати чіткий числовий вираз “степені
несподіваності” повідомлення. Ця задача вирішується
методами теорії імовірності.
Якщо по каналу зв'язку передати повідомлення про
подію, ймовірність якого до передачі (апріорна) була р 1, а
після прийому повідомлення стала (апостеріорна) рівною р 2,
то приріст кількості інформації, що пов'язаний з прийомом
повідомлення, визначається співвідношенням цих
ймовірностей і одержана кількість інформації визначається
формулою:
p
I  log 2  log p  log p . (2.1)
2
1
p
1
Застосування логарифмічної функції для кількісної оцінки
приросту інформації дає істотні переваги: так, повна
інформація, яка міститься в повідомленні, що складається із
декількох елементів, може бути одержана додаванням
кількості інформації, що міститься в цих елементах. Крім
того, якщо канал зв'язку ідеальний, тобто в ньому відсутні
перешкоди та викривлення і, отже, прийняте повідомлення
цілком достовірне, то приведений вираз справджується, так як
імовірність
p  1 (log p  ) 0 ,
2 2
I   log p . (2.2)
1
Так як початкова ймовірність завжди знаходиться в межах між
нулем і одиницею, кількість інформації завжди додатна.

16