Page 17 - 128

1 1 4
) 0 , 3 ( I  log  log  log  2  . 1 585  . 0 415  біт
2 2 2
6 8 3
,
в другому символі
1 1
) 0 / 1 , 3 ( I  log  log  log 3  . 1 585  біт ,
2 2 2
2 6
в третьому символі
1
/ 0 , 3 ( I 10 )  log 1  log  log 2  . 1 000  біт .
2 2 2
2
Сумарна інформація дорівнює логарифму від величини
оберненої апріорної імовірності повідомлення 3. Поряд з
абсолютною кількістю інформації, що міститься в
повідомленні, використовується поняття питома
інформативність, або ентропія повідомлення. Під цим
розуміється середня кількість інформації, що припадає на
один символ передачі:
I біт
H  I  n . (2.3)
1
n символ
Ентропія характеризує повідомлення з точки зору його
насиченості інформацією. Чим більша ентропія повідомлення,
тим більше інформації отримується за одиницю часу.

2.2 Ентропія дискретних повідомлень

Дискретними називаються повідомлення, передача
яких відбувається у вигляді окремих символів. Найбільш
поширені символи — букви алфавіту і цифри арабської
системи числення. Позначаючи кількість всіх можливих в
конкретній системі символів через m, а кількість переданих
символів через n, можемо встановити кількість різних
повідомлень, що утворюються n- символами з m-символів.
Притримуючись математичної термінології, можна сказати,
що вона буде рівна кількості розміщень з повтореннями (див.
n
додаток П1, стр.179), тобто m .
При рівній ймовірності окремих повідомлень
ймовірність кожного з них
1
p  , (2.4)
1 n
m
і, відповідно, кількість інформації в одному повідомленні
рівна
18