Page 23 - 128

Одержана величина називається приведеною ентропією.

x
Оскільки    dxx  1, друга сума рівна log  . Таким
2
 
чином, ентропія неперервного повідомлення визначається за
формулою:
H  x  H *   logx   x . (2.17)
2
Інформативність повідомлення до нашого вмішування
повністю зумовлена приведеною ентропією, що відображає
статистику станів елементів повідомлення. Величина log 2Δx
залежить тільки від вибраного інтервалу квантування Δх, який
визначає точність квантування станів, і при постійному Δх
являється постійною величиною.
Для визначення максимуму ентропії неперервного
повідомлення слід відшукати її умовний екстремум,
враховуючи додаткові умови, що накладаються на властивості
повідомлення. Перше з них відоме з випадку дискретного
повідомлення і зводиться до виразу:

   dxx  1 ; (2.18)
 
друге відноситься до практичної можливості реалізації
неперервного сигналу і стверджує, що дисперсія станів
елементів повідомлення — стала величина:

2
 2   x   dxx  const . (2.19)
 
Застосовуємо той же метод множників Лагранжа і,
виходячи з рівнянь (2.16), (2.18) і (2.19), введемо позначення
F  x     logx   x ; (2.20)
1 2
F  x    x ; (2.21)
2
F   xx  2   x ; (2.22)
3
і складаємо рівняння Ейлера
F *   Fx   x   F  x   F  x . (2.23)
1 1 2 2 3
Визначаючи часткову похідну цього виразу по φ(х) і
прирівнюючи її до нуля, здійснюємо пошук тієї густини
імовірності, якій відповідає максимальна ентропія
неперервного повідомлення:
 F *  x  2
    logx    x     x   x    0x  ;
   x    x 2 1 2
24