Page 41 - 4522

H( b / a )    p( b / a log) p( b / a ) , (5.3)
j i j i 2 j i
j
H( a / b )    p( a / b log) p( a / b ) , (5.4)
i j i j 2 i j
i
де індекс i вибрано для характеристики довільного стану
джерела повідомлень A, індекс j вибрано для характеристики
довільного стану адресату B.
Розрізняють поняття часткової та загальної умовної
ентропії. Вирази (5.3) та (5.4) є частковими умовними
ентропіями.
Загальна умовна ентропія повідомлення B відносно
повідомлення A характеризує кількість інформації, яка
міститься у будь-якому символі алфавіту, і визначається як
сума імовірностей появи символів алфавіту помножена на
невизначеність, яка залишається після того як адресат
прийняв сигнал
H ( B / A)    p( a ) H ( b / a ) 
i
i
j
i
. (5.5)
    p( a ) p( b / a log) 2 p( b / a )
i
i
j
j
i
i j
Вираз (5.5) є загальним для визначення кількості
інформації на один символ повідомлення для випадку
нерівноімовірних та взаємозв’язаних символів.
Оскільки p (a )p (b / a ) являється імовірністю
i j i
сумісної появи двох подій (ap ,b ), то формулу (5.5) можна
i j
записати таким чином:
H( B / A)    p( a , b log) 2 p( b / a ). (5.6)
j
i
i
j
i j
Розглянемо властивості умовної ентропії.
1. Якщо ансамблі повідомлень A та B взаємонезалежні, то
умовна ентропія A відносно B рівна безумовній ентропії A і
навпаки: H (A / ) B  H (A ); H (B / ) A  H (B ) .
40