Page 26 - 128

log e
2
то H *   logx   2  2   log  2  e , (2.33)
H 2 2 2
2
  
а повна ентропія H    logx  2  e . (2.34)
H 2
 x 
Функцію щільності ймовірностей, якій відповідає
максимальна ентропія — без врахування другого обмеження
(постійності дисперсії), — легко отримати, прирівнюючи
другий коефіцієнт Лагранжа λ 2 нулю. Для такого випадку
вираз (2.24) може бути переписаний у вигляді
   ex  1  ln 2 1 . (2.35)
В цьому випадку функція щільності ймовірностей не залежить
від х; отже, вона постійна на всьому інтервалі існування
випадкової величини і може бути записана
1
  x  . (2.36)
p
b  a
Отже, якщо дисперсія станів елементів не обмежена, то
повідомлення володіє найбільшою інформативністю
(максимальною ентропією), коли стани елементів
розприділені по рівномірному закону (рис. 2.2.б).
Підставляючи вираз (2.34) в вираз (2.16), отримаємо
b 1 1
H *   x    log dx  log b   a . (2.37)
p b  a 2 b  a 2
a
b  a
Повна ентропія рівна H   logx  . (2.38)
p 2
 x
Порівнюючи два випадки в припущені, що кількість ентропії в
повідомленнях з нормальним і рівномірним розприділеннями
ймовірностей однакова, можемо вирахувати дисперсію,
властиву кожному нормальному і рівномірному розподіленню
з індексами “Н” і “р”. Для нормального закону розподілу
отримаємо
 2 e  b  a . (2.39)
H
Враховуючи, що дисперсія для рівномірного закону розподілу
2
 b  a 
2
    , (2.40)
p
 2 3 
отримаємо  2 e  2 3 ;
H p

27