Page 40 - 169

p – ймовірність S -го стану дискретного давача інформації.
i
j

Для дискретного ергодичного давача інформації, в якого кореляційні
зв’язки існують тільки між двома сусідніми значеннями послідовності
x , x , x , n ентропія визначається виразом:
1
2
n n  x   x 
H ( x)    p( x )  H i    p( x )   p j x   log  p j x 
j
i
j  i 1  j 1  i   i 
або
n n
H( x)    p( x , x )  log p x j x i ; (3.30)
j
i
j 1 1 
i
де: p (x , x ) – сумісна імовірність появи пари символів x , x .
i j i j
p x x  –умовна імовірність появи значення x при умові, що
j i j
попереднім було значення x ;
i
В загальному випадку ентропія ергодичних давачів інформації визначається
виразом:
n n
H( x)       p( x , x ,, x ) log p x i x  x s , (3.31)
j
i
s
j
i 1 j 1 s 1
де:
p (x i ,x j , x s ) – імовірність послідовності станів ji ,..., s;
n – загальна кількість станів джерела;
p x i x  x s  – умовна імовірність появи i -го стану при умові, що
j
s ,
попередніми були ( j, ) стани, при чому j -ий передував i -му, а s –
найбільш віддалений стан, який має кореляційний зв’язок з i -м.
Для джерел з незалежними, але нерівноймовірними станами
використовується оцінка загальної кількості можливих комбінацій станів:
n!
N  ; (3.32)
n
 S j
j
або в логарифмічному вигляді:
n
log N  log n!   S ; (3.33)
j
j
яка на основі наближення Стірлінга зводиться до виразу:
log N
H  lim    ( p ) j log p ( ) j , (3.34)
n
що співпадає з визначенням ентропії К.Шенона.
На практиці давачі інформації не є настільки статистично складними, щоб
їх описувати багатомірними розподілами. Зокрема, для повного опису
ергодичних стаціонарних давачів достатньо знати двомірні розподіли і
відповідно статистично середні. Ентропія і швидкість створення повідомлень
такими джерелами, за рахунок кореляційних зв’язків між різними