Page 19 - 128

як кожен добуток загального виразу ентропії може приймати
значення, обмежені можливими границями імовірності
0  p  1 . (2.9)
k
При р к=0 значення -р к log 2 р к являє собою невизначеність, яка
розкривається за правилом Лопіталя, т.д.
 1 
log  
2  
 p k     
lim  p k log 2 p k   lim   ;
0 0 1
p k p k    
p
k
1
     log 2 e
lim f   lim   0 .
          1
При р к=1 значення -р к log 2 р к також перетворюється в нуль.
Обидва ці крайні випадки можуть бути оцінені також
чисто інтуїтивно. Імовірності 0 і 1 відповідно означають
неможливу і повністю вірогідну подію. Таким чином, будь-
яка інформація про них зайва, так як події наперед відомі.
Поведінка кожного добутку -р к log 2 р к між крайніми
значеннями імовірності р к може бути встановлена пошуком
його екстремуму. Для цього знаходимо першу похідну
добутку і прирівнюємо її до нуля.
d 1
 p log p   p log e  log p  0 . (2.10)
dp k 2 k k p 2 2 k
k k
1
Звідси p   . 0 368 .
k
e
Максимальна величина одної складової буде рівна
1
 p log p   log e  . 0 531 , (2.11)
k 2 k max 2
e
а поведінка цього добутку протягом всієї ділянки його
існування приведена на рис. 2.1.

20