Page 65 - 4162

2 H  m ;
2
H log  log m .
Логарифмуючи цю рівність, знайдемо число
послідовно проведених вибірок або кількість інформації, що
приходиться на одне повідомлення,
log m
H  , біт (bihary digit) (5.1)
log 2
Якщо в якості основи системи логарифмів взяти число
2, то
H  log m (5.2)
2
або
1
H  log   log P , (5.3)
2 2
P
(5.3) – формула американського вченого Хартлі (1928 р.)
Кількість інформації, що припадає на одно
повідомлення, дорівнює двійковому логарифму числа
можливих станів об’єкту.
При кодуванні дискретних сигналів за системою
n
двійкового комплектного коду m  2 , тому
H  log 2 n  n , (5.4)
2
тобто кількість інформації, що відповідає передачі одного
повідомлення, дорівнює числу елементів в кодованому
сигналі.
В загальному випадку, коли повідомлення, що
утворюють ансамбль, нерівно ймовірні, кількість інформації,
яку несе на собі той чи інший сигнал повідомлення, залежить
від ймовірності.
Повернемося до двохпозиційного об’єкту.
Позначимо: Р 1 – ймовірність появи повідомлення
«відключено»;
Р 2 – ймовірність появи повідомлення «включено»
Сигнали, що відповідають цим повідомленням, як і
раніше, позначимо цифрами 1 і 0. Будемо вести
спостереження за сигналами і через строго визначені
проміжки часу робити помітки про стан об’єкту. В результаті
достатньо тривалого спостереження може бути складено Q
послідовностей, які відрізняються одна від одної порядком
чергування цифр:

64