Page 170 - 4496

Для передачі певної кількості інформації I від джерела
без надмірності необхідно k 1 = I / H max знаків. Оскільки
ентропія реального джерела H менша максимальної, то для
передачі тієї ж кількості інформації I знаків треба більше k 2 =
I / H. Мірою надмірності повідомлення є величина

= k 2 - k 1 ,
D 2
k 2
яка показує, наскільки ефективно використовуються знаки
повідомлення. Якщо повідомлення містить мінімально
можливу кількість знаків, то його надмірність рівна нулю.
Значення надмірностей D 1 і D 2 співпадають, що легко
бачити, підставивши у формулу значення k 1 і k 2.
Надмірність не є ознакою недосконалості джерела
повідомлень. Найчастіше надмірність є його фізичною
властивістю.
Наприклад, природня надмірність людської мови
зв’язана з особливостями артикуляції (способами вимовлення
звуків) людини, які не дозволяють їй використовувати слова із
довільних буквосполучень.
Наслідки від існування надмірності повідомлень теж
неоднозначні.
Негативні наслідки полягають в тому, що надмірні
повідомлення вимагають збільшення тривалості передачі.
Позитивні наслідки використання надмірних
повідомлень, тобто тих, про які є апріорна інформація,
полягають в тому, що з’являється можливість виявляти та
виправляти помилки, що виникають під час передачі. Отже,
наявність надмірності підвищує завадостікість повідомлень.
Дійсно, природня надмірність людської мови дозволяє
спілкуватись навіть при наявності акцентів, діалектів та
дефектів мови.
Протилежна ситуація виникає при обміні
повідомленнями за допомогою автоматичних систем передачі
інформації. Для них природня надмірність не дає підвищення
завадостійкості. Це пояснюється неможливістю використання
для виявлення та виправлення помилок занадто складних
інтелектуальних алгоритмів, що мають базуватись на
природніх статистичних закономірностях джерел
повідомлень.

167