Page 169 - 4496

4.4 Ефективне кодування

4.4.1 Статистична надмірність

Різні знаки реальних повідомлень мають різні
імовірності свого використання в цих повідомленнях. Як
правило, ці імовірності є відомими (наприклад, коли відома
мова повідомлення). Знання того, які саме знаки
найімовірніше чекати від джерела, а які - ні, називається
наявністю апріорної інформації про повідомлення.
Наявність апріорної інформації приводить до зменшення
середньої невизначеності на знак, отримуваний від джерела.
Отже зменшується і кількість інформації, що переноситься
цим знаком. Вираженням цього явища є міра невизначеності
за Шенноном.
Наслідок 1. Якби знаки алфавіту отримувались від
джерела повідомлень з рівною імовірність, то те ж саме
інформаційне навантаження на знак можна було б
забезпечити, використовуючи алфавіт меншого обсягу. Це
явище називається надмірністю алфавіту джерела
повідомлень або, просто, надмірністю джерела повідомлень.
Наприклад, для алфавіту із трьох знаків з імовірностями
p 1 = p 2 = 0.1135, p 3 = 0.773 кількість інформації на знак
становить 1 біт. Ту ж саму кількість інформації на знак можна
одержати для алфавіту із двох знаків при рівноімовірному їх
використанні.
Мірою надмірності джерела повідомлень є величина

H max - H ,
=
D 1
H max
яка показує, наскільки ефективно використовуються знаки
джерела, де H і H max - ентропія і макимально можлива
ентропія даного джерела. Якщо знаки джерела переносять
максимально можливу кількість інформації, то його
надмірність рівна нулю.
Наслідок 2. Якбі всі знаки у повідомленні мали рівну
імовірність, то ту ж саму кількість інформації всього
повідомлення можна було б передати меншою кількістю
знаків. Це явище називається надмірністю кількості знаків у
повідомленнні або, просто, надмірністю повідомлення.
166