Page 20 - 128

pklog2pk

0.6
0.531
0.5

0.4

0.3
0.2

0.1 1/е pk
-

0 0.2 0.4 0.6 0.8 1.0

Рисунок 2.1 – Залежність -р к log 2 р к від ймовірності стану
р к .

Отриманий для одного добутку ентропії результат не
вирішує питання про максимум ентропії повідомлення, яке
містить різноймовірні символи, так як всі доданки формули
(2.8) не можуть одночасно приймати значення, визначене
виразом (2.11). Це неможливо, так як
m
 p k  1 . (2.12)
k 1
Для визначення максимуму ентропії дискретного
повідомлення необхідно відшукати її умовний екстремум —
враховуючи умову (2.12). Це можна зробити, застосовуючи
метод множників Лагранжа, т.б. проводячи пошук екстремуму
нової функції, утвореної у вигляді суми виразу, для якого
необхідно визначити умовний екстремум, і додаткову умову,
попередньо помноженого на невизначений множник
Лагранжа:

21