Page 42 - 4522

2. Якщо ансамблі повідомлень A та Bнастільки жорстко
статично пов’язані, що поява одного з них означає
обов’язкову появу іншого, то їх умовні ентропії рівні нулю:
H (B / A )  H (A / B )  0 .

Ентропія об’єднання
Ентропія об’єднання використовується для обчислення
ентропії сумісної появи статично залежних повідомлень.
Наприклад, передаючи сто раз цифру 5 по каналу зв’язку з
завадами, зауважили, що цифра 5 була прийнята 90 раз, цифра
6 – 8 раз і цифра 4 – 2 рази. Невизначеність виникнення
комбінацій виду 5-4, 5-5, 5-6 при передачі цифри 5 може бути
описана за допомогою ентропії об’єднання.
Ентропія об’єднання H ( , A ) B - це невизначеність того,
що буде посилатись A, а прийматись B. Для ансамблів
переданих повідомлень та прийнятих повідомлень ентропія
об’єднання являє собою суму вигляду
H ( B , A )    (p a i b , j ) log 2 a ( p i b , j ) (5.7)
i j
Ентропія об’єднання та умовна ентропія пов’язані між
собою наступними співвідношеннями:
H ( B , A )  H ( A )  H ( B / A )  H ( B )  H ( A / B ),
H (B / ) A  H (A , B ) H (A ); H (A / ) B  H (A , B ) H (B ) .
Властивості ентропії об’єднання:
1. Властивість симетрії: H ( B , A )  H ( , B A ).
2. При відсутності статичної залежності між
елементами ансамблів A та B умовні імовірності
перетворюються на безумовні, тоді
H ( B , A )  H ( A ) H ( B ).
3. При повній статичній залежності між елементами
ансамблів A та B (наприклад, коли результат однієї
події однозначно визначає інформацію про другу

41