Page 172 - 4496

Отже, теоретично при ефективному кодуванні кодові
комбінації символів треба ставити у відповідність не окремим
знакам повідомлення, а їх послідовностім достатньої
довжини. Інакше, якщо і вдасться усунути надмірність, то
тільки частково.
Ефективне кодування базується на основній теоремі
Шеннона про кодування для дискретного каналу без завад. Ця
теорема твердить, що повідомлення джерела з ентропією H
завжди можна закодувати послідовностями символів з
об’ємом алфавіту M так, що середня кількість символів L на
знак повідомлення буде як завгодно близькою до величини
H / log 2M,
але не меншою за неї.
Якщо забезпечити таке кодування, при якому символи
на виході кодера джерела будуть з’являтись повністю
рівноімовірно і взаємонезалежно, то кожний з них буде
переносити максимальну кількість інформації log 2M. Це
можливо, якщо кодувати повідомлення довгими блоками
знаків. Указана межа досягатиметься асимптотично при
безмежному збільшенні довжини кодованих блоків. Зокрема,
при ефективному двійковому кодуванні (M = 2) середня
кількість символів на знак повідомлення теоретично може
бути зменшена до значення, що рівне ентропії джерела: L  H.

4.4.3 Оптимальна система числення для побудови
кодів
Будь-якому дискретному повідомленню або знаку
повідомлення можна приписати певний порядковий номер.
Таким чином, приходимо до висновку, що у загальному
випадку передача або зберігання даних є передачею або
зберіганням чисел, поданих в певній системі числення.
Загальноприйнятим є користування позиційними
системами числення. В них значення кожної цифри залежить
від її положення в числі. Одиниця кожного наступного
(старшого) розряду більша одиниці попереднього
(молодшого) розряду в M разів, де M - основа системи
числення.
Чим більша основа системи числення, тим менше
розрядів потрібно для подання даного числа, а отже, і менше
169