Page 31 - 4365

H ( A)  log L . (31)
max 2
де L - обсяг алфавіту системи. Так, для бінарного джерела,
у якого алфавіт складається з двох символів (букв)
(наприклад, 0 і 1):
H (A )  log 2 =1 біт/символ. (32)
max 2
Для алфавіту, в якому 32 символи (букви), якщо не
розділяти е і є, а врахувати пробіл між словами, за умови
рівноймовірності букв:

H (A )  log 32 =5 біт/символ. (33)
max 2
При створенні інформаційних систем потрібно прагнути
підвищувати ентропію джерела, тоді буде передаватися
інформації меншим набором символів. Однією з
інформаційних характеристик дискретного джерела є
надлишковість:
H ( A)  H( A) H( A)
R  max  1 . (34)
H ( A) log L
max 2
Надлишковість джерела залежить від протяжності
статичних зв'язків між послідовно вибраними символами
(пам'яттю джерела), та від ступеня нерівноймовірності
окремих символів.

Порядок виконання роботи

1. Записати власні прізвище та ім’я.
2. Розрахувати ентропію отриманого повідомлення, як
середню інформацію на один символ.
3. Визначити надлишковість отриманого повідомлення.
4. Оформити звіт наступного змісту: тема і мета роботи;
вихідні дані для виконання роботи; суть та результати
розрахунків; висновки.

30