Page 171 - 4496

Теоретичне обгрунтування використання надмірності в
автоматичних системах передачі інформації дав Клод
Шеннон. Він встановив доцільність відокремлення кодування,
обумовленого статистичними властивостями джерела
повідомлень, від кодування, обумовленого статистичними
властивостями канала зв’язку. При цьому кодер канала зв’язку
має складатись з двох частин: кодера джерела та кодера
канала.
Кодер джерела перетворює послідовність
нерівноімовірних знаків повідомлення у послідовність
рівноімовірних символів. Таким шляхом усувається природня
надмірність, що дає виграш у тривалості передачі. Таке
кодування називають ефективним або оптимальним.
Кодер канала вводить у послідовність рівноімовірних
символів штучну надмірність, яка дозволяє виявляти та
виправляти помилки повідомлень простими алгоритмами.
Таке кодування називають завадостійким.

4.4.2 Особливості ефективного кодування

Теоретично ефективне кодування дозволяє повністю
позбавитись статистичної надмірності повідомлень.
Ефективний код має мінімальну середню довжину кодової
комбінації, тобто мінімальну середню кількість символів, що
потрібні для кодування знака повідомлення. Це дає виграш у
часі передачі.
Основні теоретичні досягнення в цій галузі належать
Клоду Шеннону. Він довів, що теоретичного максимума
швидкості передачі можна досягти, якщо перетворити
повідомлення у послідовність статистично незалежних та
рівноімовірних символів.
Але тут виникає протиріччя, оскільки окремі знаки
реальних повідомлень нерівноімовірні і між ними існують
кореляційні зв’язки. Тому Шеннон запропонував розглядати
не окремі знаки, а послідовності знаків достатньої довжини.
Для таких послідовностей можна вважати, що вони набувають
властивостей асимптотичної рівноімовірності та
взаємонезалежності. Тобто це припущення тим точніше, чим
довшими брати послідовності знаків.

168