Page 39 - 4522

m
ентропія приймача повідомлень H( B)    p( b log) p( b )
i
i
 i 1
являє собою невизначеність появи на вході приймача
букви після її появи на виході джерела повідомлень.
Якщо в каналі зв’язку не відбувається втрата
інформації, то завжди буква a 1 відповідає букві b 1, а 2 – b 2 і т.д.
При цьому H ( ) A  H (B ) .
Розглянемо властивості безумовної ентропії.
1. Якщо відомо, що подія точно відбудеться (це
еквівалентно передачі повідомлення з однією
якісною ознакою), то його ентропія рівна нулю.
2. Якщо відомо, що подія точно не відбудеться (це
еквівалентно відсутності i-ої якісної ознаки), то його
ентропія рівна нулю.
3. Якщо дослід являє собою послідовність
рівноімовірних подій (це еквівалентно передачі
повідомлень з рівноімовірними взаємонезалежними
символами), то ентропія є максимальною.
4. Якщо подія з рівною імовірністю може відбутися
або не відбутися, то його ентропія максимальна.
5. Ентропія зі скінченою кількістю результатів завжди
є додатною величиною.
6. Ентропія бінарного відношення володіє властивістю
симетрії: збільшення або зменшення ймовірності
будь-якого з елементів бінарного повідомлення на
одну і ту ж величину приводить до однакової зміни
ентропії.
7. Ентропія складного повідомлення, яке складається з
деяких часткових повідомлень, рівна сумі ентропій
складових повідомлення: H (AB )  H (A )  H (B ).
Умовна ентропія. На практиці часто трапляються
взаємозалежні символи та повідомлення. При передачі
змістовних повідомлень одні букви зустрічаються частіше,

38