Page 39 - 169

де: t  – крок дискретизації, що забезпечує точність квантування ;
C – діапазон квантування;
T – інтервал часу спостереження давача інформації.
Якщо визначити кількість значень, яке може бути отримане за час (T ) у
вигляді:
T
( t)  2  t ;

отримаємо:
 T 
 C  t 
H  log  2 . (3.26)
  
 

 
C T
n
m
В частковому випадку, коли  2 і  2
 t 
H  log 2 m  2 n  m  n. (3.27)
 2
Оцінки ентропії давачів інформації у вигляді міри Хартлі, ( 3 ) та -
ентропії Колмогорова вирішуються в цілих числах в тому випадку, коли
діапазон квантування станів давача вибирається кратним цілому степеню числа
k
два. В іншому випадку, коли S  2 ( k , 3 , 2 , 1  ) необхідно користуватися
наступними оцінками:


H  n E log S  n ] log [ S ;

H  E log 3  ;

  T  
  C 

H  E log  2  t  ; (3.28)

   
 

   

де: E – символ цілочисельної функції з округлення до більшого цілого;
][ – ознака операції округлення до більшого цілого.
Приведені оцінки ентропії ґрунтуються на умові, що кожен стан джерела
(S ) кодується n-розрядним двійковим кодом однакової довжини.
j
Розглянуті оцінки відповідають давачам інформації з рівноймовірними
станами і, як правило, є максимальними, оскільки не враховують
надлишковість давача за рахунок не однакової ймовірності розподілу різних
станів (S ) давача інформації.
j

Для давачів інформації з нерівноймовірними станами К.Шеноном введена
міра ентропії:
n
H  k   p i  log p ; (3.29)
i
 i 1
де: k – додатній коефіцієнт, що враховує основу логарифма;