Page 45 - 4522

(характеризує) питому вагу зайвих повідомлень, які видає
джерело інформації. Треба пам’ятати, що зайві символи
вимагають додаткового часу на передачу інформації.
Яку практичну користь для аналізу СПІ дає параметр ρ,
який інформує нас про наявність надлишковості джерела?
Використання може бути двояке:
1) Знаючи про наявність надлишковості у джерела можна
рішати задачу усунення надлишкової інформації, тобто
стискання інформації.
2) Надлишкову (несуттєву) інформацію можна
використовувати на приймальній стороні СПІ для
виправлення помилок, якщо такі вносяться в сигнал в
процесі його передачі по каналу зв’язку.

Порядок виконання роботи

1. Отримати у викладача завдання згідно з номером
варіанту.
n
2. Розв’язати рівняння  (p x i y , j )  (p x i );
 j 1
n
 (p x i y , j )  (p y j ).
 i 1
3. Тоді ентропії подій необхідно знайти за формулою
m
H ( X )    (p x i ) log x ( p i ).
 i 1
4. Ентропію об’єднаного ансамблю знаходимо,
використовуючи
3 2
вираз: (H X Y , )     (p x i y , j ) log 2 x ( p i y , j ).
i 1 j 1
5. Умовні ентропії зручно визначити, якщо
використати таку властивість:

H ( Y / X )  H ( X Y , )  H ( X )  .

44