Page 25 - 6865

2.2.4 Ентропія об’єднання

Ентропія системи H (X, Y,…), яка складається із
декількох підсистем, які мають ентопії H (X), H (Y)…, рівна
сумі ентропій, якщо повідомлення підсистем незалежні. Якщо
є залежність, то загальна ентропія менша суми ентропій
підсистем:

H ( X , Y ,…)  H (X ) + H ( Y )+ … (2.6)

2.3 ІНФОРМАЦІЙНА НАДЛИШКОВІСТЬ

Інформаційна надлишковість проявляється в тому, що
інформаційний зміст повідомлень є меншим, від
можливостей засобів відображення цих повідомлень.
Інформаційна надлишковість може бути обумовлена такими
факторами:
1. Надлишкове число елементів дискретних сигналів
порівняно з необхідним значенням для відображення даних
повідомлень. Наприклад, для передачі інформаціі
використовують 8-розрядний двійковий код. Кількість різних
символів, які використовуються в інформації – 53, в тому
числі: 33 букви, 10 десяткових цифр, 10 допоміжних знаків
(кома, крапка, дужки). Для кодування всіх символів достатньо
6 розрядів коду (2=64). Два розряди є зайвими, вони
створюють надлишковість.
2. Неоднакова ймовірність відображення окремих
повідомлень. Згідно першої властивості ентропії вона при
цьому зменшується. Наприклад, джерело видає 4 різні
повідомлення. Якщо повідомлення рівно ймовірні, ентропія
згідно формули Хартлі (2.4) буде рівна 2 біта. При різних
вірогідностях повідомлень - 1/2, 1/4, 1/8 ентропія буде рівна
13/4 біт.

22