Page 23 - 6865

2.2 ЕНТРОПІЯ

2.2.1 Ентропія джерела дискретних повідомлень

Для інформаційної оцінки системи або комплексів в
теорії інформації введено поняття ентропії. Ентропія – це
середнє значення інформації на одне повідомлення.
Для отримання формули ентропії розглянемо джерело
інформації, яке видає N незалежних дискретних повідомлень
з ймовірністю p1, p2, pi, ... pn. Будемо розглядати послідовність
із m повідомлень (m >> N). Відповідно з теорією ймовірності
кожне i-те повідомлення з’явиться в послідовності m pi разів.
Враховуючи, що кожне i-те повідомлення несе інформацію
I1i=log21/pi= -log pi, всі отримані повідомлення складуть
інформацію Imi=- mpi log2pi. Середнє значення інформаціі на
одне повідомлення, тобто ентропія джерела, буде рівна:

H = Lm / m = - pi log2 pi [ бит ] (2.3)

Ця формула отримала назву формули Шеннона. При
рівних значеннях p1 = p2 = pn ця формула перетворюється в
формулу Хартлі:

H = log2 N (2.4)

2.2.2 Ентропія джерела безперервних повідомлень

Контрольована в процесі вимірювання фізична
величина є, як правило, неперервним випадковим процесом,
який характеризується знаком розподілу ймовіності F (X ) або
густиною ймовірності φ (X). Для оцінки ентропії системи
необхідно врахувати роздільну здатність приладу ∆ х. В
такому випадку можна розглядати систему як дискретну з
розбивкою діапазону вимірювання Xmax – X min на дискретні

20