Page 24 - 4522

Рисунок 3.1 Схема вибору одного з двох рівно
ймовірних повідомлень
Схему вибору повідомлень для цього випадку можна
представити в наступному вигляді. Загальне число
повідомлень m ділиться на дві рівні групи і вибирається
одна з них. Такий вибір, як уже відомо, відповідає
одиниці кількості інформації. Відібрана таким група, в свою
чергу, ділиться на дві рівні підгрупи, з яких вибирається одна.
Очевидно і вибір цієї підгрупи пов'язаний з одиницею кількості
інформації, так як він проводиться з двох рівноймовірних
можливостей. Така процедура повторюється до того часу,
поки в черговій підгрупі не виявиться одного повідомлення.
При цьому кількість повідомлень в групах і підгрупах може
бути представлена наступним рядом чисел:

m m m m
m; ; ; ; ...; .
2 2 2 2 3 2 H

Останній член цього ряду, відповідно до приведеної схеми
вибору повідомлень, дорівнює одиниці:
m
 1;
2 H

2 H  m ;

H log  log m .
2

Логарифмуючи цю рівність, знайдемо число послідовно
проведених виборок або кількість інформації, що припадає на
одне повідомлення,
log m
H  , біт (bihary digit) (3.1)
log 2
Якщо як основу системи логарифмів взяти число 2, то
H  log m (3.2)
2

або

23