Page 40 - 4522

інші рідше, одні букви і слова часто ідуть за іншими.
Наприклад, в англійській мові найчастіше використовується
буква е; у французькій після букви q завжди іде буква u,якщо
q не стоїть в кінці слова. Щодо взаємодіючих систем, то
переважно стан однієї з них впливає на стан іншої. В таких
випадках ентропія не може визначатись лише на основі
безумовних імовірностей.
При підрахунку середньої кількості інформації на
символ повідомлення взаємозалежність враховують через
умовні імовірності появи одних подій відносно інших. А
отриману при цьому ентропію називають умовною ентропією.
Умовна ентропія використовується при визначенні
взаємозалежності між символами первинного алфавіту, для
визначення втрат при передачі інформації по каналах зв’язку,
при обчисленні ентропії об’єднання.
Розглянемо текстове повідомлення. Якщо при передачі
n повідомлень символ A з’явився m раз, символ B з’явився l
раз, а символ A разом з символом B – k раз, то імовірність
появи символу A p( A ) m n ; імовірність появи символу B

p( B ) l n ; імовірність сумісної появи символів A та B
p( AB ) k n.
Умовна імовірність появи символа A відносно символа
p( AB) k
B p( A/ B )  і умовна імовірність появи символа B
p( B) l
p( AB) k
відносно символа A p( B / A )  .
p( A) m
Якщо відомо умовну імовірність, то можна легко
визначити й імовірність сумісної появи символів,
використовуючи попередні формули:
p (AB )  p (B )p (A / ) B  p (A )p (B / ) A .
Розглянемо формули умовної ентропії,
використовуючи формулу Шеннона:

39