Page 66 - 4162

1110010000 1 .......... .... 

1100000011 111 .......... 
 (5.5)
.......... .......... .......... ...... 
0011011100 11 .......... .. 

Позначимо через N – число цифр, з яких складається
кожна послідовність.
Якщо число цифр, що утворюють послідовність,
велике (N), то можна рахувати, що будь – яка
послідовність містить P  N цифр 1 і P  N цифр 0. Поява тієї
1 2
чи іншої послідовності (5.5) є складною подією, що
складається з простих незалежних подій типу 1 і 0.
Ймовірність появи будь – якої з таких складних подій
однакова і, згідно теореми про суміщення незалежних подій.
Дорівнює
P  Q  P P 1 N  P P 2 N . (5.6)
1 1 2
У свою чергу, за відомою ймовірністю  QP можна
1
знайти і загальне число різних послідовностей Q
1
Q  , (5.7)
P  
Q
i
так як
1
P  Q  .
i
Q
Визначивши, таким чином, загальну кількість
послідовностей (або рівно ймовірних складних подій),
знайдемо, згідно рівнянню (5.2), кількість інформації, що
міститься в кожній з послідовностей:

H  Q  log Q . (5.8)
i 2

Тепер неважко знайти і середню кількість інформації,
що приходиться на одне повідомлення
1 1 1 1
H  log 2 Q  log 2   log 2 P i  Q 
N N P  Q N
i
1
  NP log 2 P   NP log 2 P 2   P log 2 P  P log 2 P 2  біт
1
1
2
1
1
2
N

Рівняння (67) визначає середню кількість інформації,
65