Page 16 - 128

Чисельна величина кількості інформації залежить від
вибору основи логарифма. Враховуючи, що технічні засоби
передачі і злічування дискретної інформації частіше за все
можуть приймати тільки два різних стани, вигідно
користуватися логарифмом з основою 2. Тоді одиниця
кількості інформації відповідає повідомленню про те, що
трапилась одна з двох рівноймовірних подій. Вона
називається двійковою одиницею інформації, або бітом.
Користуючись логарифмом з основою 10, одержуємо
кількість інформації в інших одиницях — дітах, а
користуючись натуральним логарифмом з основою е
1 1 1 1
1 (        . 2 71828 ) , — в нітах.
! 1 ! 2 ! 3 ! n
Викладене ілюструє наступний приклад. Якщо по каналу
зв'язку рівномірним кодом передається повідомлення про
одну з восьми рівноймовірних подій, що здійснилися, кодові
позначення ймовірності яких приведені в таблиці 2.1, то
представляється можливим обчислити кількість інформації,
що доставляється кожним наступним символом кодової
групи, що передається. Для цього в першу чергу визначають
ймовірності поступання окремих повідомлень після передачі
кожного символу кодової групи (як це зроблено в таблиці 2.1),
а потім розраховується кількість інформації, перенесеної
кожним символом.
Таблиця 2.1 – ймовірності появи повідомлення
Номер Код Імовірність Імовірність після передачі
повідом повідом- повідом-
лення лення лення 0 1 0
1 000 ¼ 1/3 0 0
2 001 ¼ 1/3 0 0
3 010 1/8 1/6 1/2 1
4 011 1/8 1/6 1/2 0
5 100 1/16 0 0 0
6 101 1/16 0 0 0
7 110 1/16 0 0 0
8 111 1/16 0 0 0
При передачі повідомлення 3 в першому символі міститься
1
інформація

1
Для логарифмування по основі 2 враховується, що log 2A=log 10A :
log 102=3.32·log 10A

17