Page 55 - 4522

Тут Н – середнє значення ентропії повідомлень, що
передаються (в загальному випадку нерівно ймовірних).
Р(х )і
1

2

1

4

х
х1 х1 х1 х1 х1 х1
Рисунок 7.1 – Графік розподілу ймовірностей
дискретної величини х

Якщо H  H  log m , то швидкість передачі
M 2
інформації менша пропускної здатності каналу зв'язку.
Канал зв'язку в цьому випадку буде недозавантажений.
Розходження між С і R ліквідовується застосуванням
так званого статистичного кодування.
Статистичне кодування сигналів повідомлень
проводиться з урахуванням ймовірностей їх появи. Для
передачі повідомлень, що найчастіше зустрічаються,
кодований сигнал робиться коротшим, а для повідомлень з
малою ймовірність, появи - довшим. За допомогою цього
вдається в ряді випадків значно збільшити швидкість
передачі інформації і наблизити її до пропускної здатності
каналу.
Один з можливих методів статистичного кодування
покажемо на конкретному прикладі. Нехай статистичні

54