Page 60 - 4522

цього ідентичність графіків розподілу ймовірностей, сигналів,
які передаються і приймаються порушується і ентропія
приймальної сторони змінює своє значення
n
y
y
H   y    P  log 2 P    H   x
k
k
л1
Тепер ми маємо справу з новою системою подій, що
утворена сукупністю повідомлень, що передаються і
відтворюються. Середній приріст інформації Н п при прийомі
одного повідомлення в такій системі складе
H  H   Hx   x  H   Hy   y (7.6)
П y x
Як видно, передача сигналів в умовах завад
супроводжується деякою втратою інформації, яка
характеризує середню невизначеність, що залишається після
прийому сигналу.
Величини H  x і H  y , що входять в рівняння (7.6),
y x
можуть бути визначені за формулами:

P
y
H   y  P    log P   y  P     kHx (7.7)
x
x i x i k 2 x i k i i
i, k i
P
H   x  P    log P   x  P     iHy , (7.8)
x
y
y k y k i 2 i k k
i, k k
y
P
y
де H   y   P    log P   - умовна ентропія
x
x i x i k 2 x i k
i, k
сукупності повідомлень, що передаються, яка обчислюється
на основі припущення, що на вході каналу передано значення
х і;
x
y
P
x
H   x  P    log P   - умовна ентропія
y k y k i 2 i
i, k
повідомлень, що передаються, яка обчислюється на основі
припущення, що на вході каналу прийнято повідомлення у к.
59