Page 144 - 4496

може бути передана по канапу за одиницю часу. Якщо
повідомлення передаються алфавітом q, то максимальну
кількість інформації на один елемент (символ, знак)
повідомлення Η = logq можна дістати лише в разі його
рівноймовірних і незалежних елементів. Реальні коди, які
використовуються для кодування повідомлень, майже ніколи
не задовольняють цю умову, тому що інформаційне
навантаження кожного елемента їх, як правило, менше від
того, яке вони могли б забезпечувати. Це свідчить про те, що
повідомлення мають інформаційну надмірність.
Розрізняють два види надмірності: природну та штучну.
Першою описується надмірність первинних алфавітів, а
другою — вторинних. Природна надмірність поділяється на
семантичну та статистичну.
Семантична надмірність випливає з того, що будь-яку
думку, яка міститься в повідомленні, можна висловити
коротше. Взагалі вважають, що коли повідомлення можна
скоротити без втрат його змісту, а потім поновити останній,
воно має семантичну надмірність.
Так, повідомлення: «До вечора наступного дня передати
інформацію не зможемо у зв'язку з пошкодженням ліній, що
з'єднують пункт збирання інформації з периферійними
абонентськими пунктами» без значної втрати цінності
інформації можна було б сформулювати коротше: «Передача
інформації затримується до вечора наступного дня у зв'язку з
пошкодженням абонентських ліній», тобто перше
повідомлення має семантичну надмірність відносно другого.
Є багато способів усунення семантичної надмірності:
заміною деяких типових повідомлень, які зустрічаються
досить часто, умовними позначеннями; введенням таблиць,
куди заносяться характерні елементи повідомлення;
застосуванням скорочень тощо. Нагадаємо, що всі ці
перетворення стосуються первинного алфавіту.
Систематична надмірність спричинена нерівномірним
розподілом якісних ознак первинного алфавіту та
взаємозалежністю їх. Це можна побачити на прикладі
англійського алфавіту, що містить 26 літер. Максимальне
значення ентропії англійського алфавіту H mах = log 2q - log 226
= 4,7 біт [42]. Проте у зв'язку з тим, що ймовірність появи
літер англійського алфавіту не однакова, ентропія англійської
141