Page 38 - 4522

Розглянемо поняття ентропії як міри невизначеності
деякого досліду, результат якого залежить від вибору одного
елементу з множини вихідних. Множину вихідних елементів
називають вибірковим простором. Імовірності знаходження
елементів вихідної множини в тому чи іншому стані є
додатними числами, а сума їх рівна 1 (в іншому випадку
результат досліду не відносився б до повної групи подій).
Вибірковий простір та його імовірнісні характеристики
являють собою ансамбль повідомлень. Для дискретного
ансамблю імовірність події рівна сумі імовірностей елементів
вибіркового простору, які містять в цій події.
Ансамбль повідомлень на виході джерела називається
ансамблем джерела повідомлень і позначається буквою A.
Абстрактний алфавіт, за допомогою якого представляється
вихідна множини елементів, позначається {a 1 ,a 2 , ,a i , ,a .
m
}
Імовірності появи букви на виході джерела повідомлень
m
позначимо p (a ), p (a ), , p (a ), , p (a ),  p (a )  1. В
1 2 i m i
 i 1
цьому випаду ентропія джерела повідомлень
m
H( A)    p( a log) p( a ) і являє собою
i
i
 i 1
невизначеність появи на виході джерела повідомлень букви
первинного алфавіту.
Ансамбль повідомлень на вході приймача називається
ансамблем приймача повідомлень і позначати буквою B. Для
того, щоб відрізняти передані та прийняті сигнали,
абстрактний алфавіт, в якому представлений ансамбль
приймача, позначається {b ,b , ,b , ,b , а відповідні
1 2 i m }
m
імовірності – (bp ), p (b ), , p (b ), , p (b ),  p (b )  1. Тоді
1 2 i m i
1  i

37