Page 36 - 4522

третього джерел степінь невизначеності появи повідомлень
дорівнює нулю. Друге джерело має максимальну степінь
невизначеності появи повідомлень
Отже, величина ентропії джерела характеризує степінь
невизначеності появи повідомлень.
За якої умови ентропія джерела інформації є
максимальною?
Аналіз залежності ентропії джерела від розподілу
ймовірностей появи повідомлень «1» і «0» (див. рис. 5.1)
дозволяє зробити висновок, що ентропія джерела інформації є
максимальною при умові P(1) = P(0).
Яким чином поширюється ця умова на джерела з іншою
кількістю повідомлень в алфавіті?
Відповідь на це запитання ілюструють наведені нижче 2
приклади.
Приклад 1:
Маємо джерело інформації, яке видає m=5 повідомлень.
При якій умові ентропія цього джерела буде максимальною?
Ентропія джерела буде максимальною коли ймовірності
появи повідомлень будуть однаковими, тобто
1 1
P ( a i )    0 2 , .
m 5
Приклад 2:
Маємо джерело інформації, яке видає m=36
повідомлень. При якій умові ентропія цього джерела буде
максимальною?
Ентропія джерела буде максимальною коли ймовірності
появи повідомлень будуть однаковими, тобто
1 1
P ( a i )   .
m 36
Який вигляд матиме формула (5.1), коли необхідно
розрахувати максимальне значення ентропії?

35