Page 177 - 4496

1 1 0
0. 0.4
1 0 1 0
0.3 0.2 0.2 0.2
1 0 1 0 Z 1 Z 2

0. 0. 0. 0.
1 0
Z 3 Z 4 Z 5
0. 0.0
Z 6 1 0
0. 0.

Z 7 Z 8

Тепер рухаючись кодовим деревом від кореня до
певного знаку, можна записати кожну кодову комбінацію: z 1 -
01, z 2 - 00, z 3 - 111, z 4 - 110, z 5 - 100, z 6 - 1011, z 7 - 10101, z 8 -
10100.
Характеристика отриманого коду: k = 3, H = 2.754, L =
2.8, що краще, ніж при використанні методу Шеннона-Фано,
але все ж таки усуває надмірність лише частково.

4.4.6 Кодування блоків знаків
Як згадувалось вище, Шенноном було доведено, що
теоретично надмірність можна усунути повністю, якщо
перейти від кодування знаків до кодування блоків знаків
необмеженої довжини.
Приклад 1. Розглянемо ефективне кодування
повідомлень, утворених за допомогою алфавіту, що
складається із двох знаків z 1 і z 2 з імовірностями p 1=0.9 і
p 2=0.1 відповідно.
Ентропія джерела повідомлень становить при цьому
H = - 0.9  log 0.9 - 0.1  log 0.1 = 0.469.
Очевидно, що застосування будь-якої із розглянутих
вище методик для ефективного кодування знаків таких
повідомлень результату не дасть, тому що для кодування
174