Page 71 - 4196

що відповідає зменшенню ваг ознак із більшою дисперсі-
2
єю  .
j
k
За обмеженням   j  1 вагові коефіцієнти
j  1
k / 1
 k 
1  
   

 j j  1 j 


обернено пропорційні середньому квадратичному відхи-
ленню j-ї ознаки.
Звідси випливає, що розмірність вектора ознак для
об’єктів одного класу можна зменшити за рахунок ви-
ключення ознак з більшою дисперсією, що веде до більш
компактного угрупування об’єктів всередині класу та
зменшення розмірності простору ознак.
2 У випадку корельованості ознак для оптимізації
вибору ознак можна використати величину ентропії. Ен-
тропія уявляє собою статистичну міру невизначеності.
Ентропія сукупності векторів ознак визначається форму-
лою

H   M  pln , (4.51)
де p - щільність сукупності об’єктів, M- оператор мате-
матичного сподівання. Ознаки, які зменшують ентропію
можна рахувати більш інформативними. Правило мінімі-
зації ентропії еквівалентно мінімізації дисперсії.
Для нормальних класів об’єктів з рівними коваріа-

ційними матрицями ентропія H перетворених векторів
i

ознак a  B a i -го класу  
i
H    p a   i  apln   i  ad  (4.52)

i

досягає мінімального значення, якщо матриця перетво-
рення B складена із m нормованих власних векторів, які
71