Page 22 - 128

неперервній множині станів, т.б. коли повідомлення і
відповідний йому сигнал являються неперервними функціями
часу.
Оперуючи раніше встановленими закономірностями,
ми в нашому випадку отримаємо нескінчену кількість
інформації при кінцевій тривалості сигналу (через
нескінченно велику кількість можливих його сигналів, що
породжує нульову ймовірність кожного з них). Для подолання
вказаної математичної трудності припускається заміна
неперервного повідомлення дискретним, т.д. передача
дискретної послідовності миттєвих значень в моменти часу,
розділені визначеними інтервалами. Величина цих інтервалів
позначається Δt, а її кількісне значення буде визначене далі
теоремою відліку (Котельникова). Миттєві значення функції в
реальних системах з перешкодами також не повинні мати
нескінчену кількість можливостей. Достатньо передавати ці
значення функції з точністю до ефективного значення
перешкоди, т.б. вводячи кінцеву кількість дозволених значень
(рівнів), відстань між якими визначається рівнем перешкод в
каналі.
З метою застосування формули (2.7) для випадку
неперервного повідомлення поняття ймовірності виражається
через функцію щільності ймовірності даного розприділення
станів, т.д. розглядаються ймовірності того, що значення
випадкових величин виявляються в межах раніше позначених
інтервалів (сукупностей чисел). Тоді вираз ентропії
повідомлення з неперервним розприділенням елементів
можна написати, модифікуючи формулу (2.8) для випадку
дискретного розприділення:
m m
H    p k log 2 p k       xx  log 2     xx  ;
k
k
k 1 k 1
m m
H       xx  log   x k     xx  log  x . (2.15)
2
k
k
2
k 1 k 1
При зменшенні Δх (збільшенні m) перша сума в межі прямує
до інтегралу:

H *   x    logx 2   dxx . (2.16)

 

23