Page 34 - 4522

ЛАБОРАТОРНА РОБОТА № 5

ВИЗНАЧЕННЯ НАДЛИШКОВОСТІ ДЖЕРЕЛА
ІНФОРМАЦІЇ ЗА МАКСИМАЛЬНИМ ЗНАЧЕННЯМ
ЕНТРОПІЇ

Мета: освоєння методу визначення надлишковості
джерела інформації за максимальним значенням ентропії
(2 год).

Завдання:
Визначити :
1. Ентропію ансамблів Х і Y
2. Ентропію об’єднаного ансамблю Х,Y
3. Умовні ентропії ансамблів.

Основні теоретичні положення

Для практичного використання параметр середнє
значення кількості інформації, яка припадає на одне
повідомлення джерела має коротшу назву – ентропія
джерела. Надалі для цього параметра будемо
використовувати таке позначення H(A), де A – довільне
повідомлення з алфавіту джерела. Щоб зрозуміти чому для
параметра середнє значення кількості інформації, яка
припадає на одне повідомлення джерела використано
термін ентропія джерела (а він використовується в фізиці в
розділі термодинаміка), треба знайти відповідь на запитання:
Яку властивість джерела характеризує цей параметр?
Щоб знайти відповідь на це запитання, побудуємо графік для
залежності H(A) від P(0). Для цього проаналізуємо таку
формулу (5.1):
1 1

H ( a )  [ 1 ( P 0 )] log 2  P(0)log 2 . (5.1)
[1 - P(0)] P(0)

33