Page 174 - 4496

Розподіляємо ці знаки на дві групи так, щоб суми
імовірностей в кожній із груп були по можливості
однаковими. Всім знакам першої групи першим символом
коду назначаємо 1, а всім знакам другої групи першим
символом коду назначаємо 0. Кожну із одержаних груп, в
свою чергу, розбиваємо на дві підгрупи з однаковими
сумарними імовірностями і за тим же принципом назначаємо
другий символ коду. Такий процес продовжуємо, поки в
кожній підгрупі не залишиться по одному знаку.
Приклад. Алфавіт джерела повідомлень включає N = 8
знаків z 1..z 8 з різними імовірностями. Найменша кількість
двійкових розрядів k, достатня для звичайного двійкового
подання цих знаків, може бути визначена із нерівності
k
2  N.
Отримуємо k = 3 (000, 001, ..., 111).
Результати застосування методики Шеннона-Фано для
заданих імовірностей знаків представлені в таблиці:
Знаки Імовірності Кодові Ступінь
комбінації розбиття
z 1 0.22 11 _ _ _ _ _ _ _
_
z 2 0.20 101 _ _ _ _ _
_
0.16 100 _ _ _ _ _ _ _ _ _
z 3
_
0.16 01 _ _ _ _ _ _ _
z 4
_
z 5 0.10 001 _ _ _ _ _
_
z 6 0.10 0001 _ _ _
_
z 7 0.04 00001 _
_

z 8 0.02 00000
Сумарна імовірність знаків z 1..z 8 рівна 1.
Ентропія джерела:

171