Page 151 - 4196

W i k   1  W i   i,k  1 ,..., m .
З іншого боку, якщо для деякого j
d i X   dk  j X  k ,
то відбуваються наступні корекції ваг:
W i k   1  W i   CXk   k ,
W j k   1  W j   CXk   k ,

W k  1  W  k ,
e e
i  1 ,..., m ; i  ; e i  ; j c  0 .
Якщо класи лінійно роздільні, то цей алгоритм збігається
для довільних початкових вагових векторів W i  1 .

Метод градієнту
Алгоритм навчання перцептрону відноситься до сі-
мейства ітеративних процедур, які можна будувати мето-
дом градієнту.
З курсу векторної алгебри відомо, що градієнт фун-
T
кції  Yf векторного аргументу Y   ,...,y 1 y n  визначе-
ний співвідношенням
T
f d  Y  f   f 
grad f  Y     ,...,  .

dY   y 1  y n 
Градієнт спрямований по напрямку найбільшої змі-
ни функції. Ця властивість градієнта дозволяє будувати
ітеративні схеми знаходження мінімуму функції.
Розглянемо, наприклад, функцію

J  ,W X   W T X  W T X . (4.87а)
Мінімум цієї функції  ,WJ X  0 досягається при
W T X  0 . Метод градієнта полягає у збільшенні ваг W в
напрямку від’ємного градієнта функції  ,WJ X , що веде
до мінімуму.
Тобто

151