Page 26 - 4522

Якщо число цифр, що утворюють послідовність, велике
(N), то можна рахувати, що будь-яка послідовність
містить P  N цифр 1 і P  N цифр 0. Поява тієї чи іншої
1 2
послідовності (5.5) є складною подією, що складається з
простих незалежних подій типу 1 і 0. Ймовірність появи будь-
якої з таких складних подій однакова і, згідно теореми про
суміщення незалежних подій. Дорівнює

N P 2 N
P  Q  P  P . (3.6)
P 1
1 1 2

У свою чергу, за відомою ймовірністю  QP можна
1
знайти і загальне число різних послідовностей Q
1
Q  , (3.7)
Q
P  
i

оскільки
1
P  Q  .
i
Q
Визначивши, таким чином, загальну кількість
послідовностей (або рівно ймовірних складних подій),
знайдемо, згідно з рівнянням (5.2), кількість інформації, що
міститься в кожній з послідовностей:

H  Q  log Q . (3.8)
i 2

Тепер неважко знайти і середню кількість інформації,
що припадає на одне повідомлення

1 1 1 1
H  log 2 Q  log 2   log 2 P i  Q 
N N P  Q N
i
1
  NP log P   NP log P  (3.9)
N 1 2 1 2 2 2

  P log P  P log P  біт
1 2 1 2 2 2

25