Page 158 - 4196

раційного процесу ведуть до мінімуму поверхні похибок,
який може бути локальним або глобальним.
Суть алгоритму оберненого поширення полягає в
наступному. Припустимо, що цільовою функцією похиб-
ки НМ є величина:
1  N 2
E  W   y  d jp  ,
2 p , j jp
 N
де y - реальний вихід j - нейрону останнього (вихід-
jp
ного) N -го шару мережі при поданні на її входи p -го
еталону; d - бажаний вихід цього нейрону. Сумування
jp
ведеться за усіма нейронами вихідного шару і за усіма
еталонами.
Згідно методу градієнтного спуску корекція вагових
коефіцієнтів здійснюється за формулою

 n  E
 W    , (4.92)
ij
 W
ij
 1
де W - вага зв’язку i -го нейрону n  -го шару та j-го
ij
нейрону n -го шару,  - коефіцієнт швидкості навчання,
0    1.
Для похідної в правій частині (4.92) можна записати
 E  E  y  S j
j
 ,
 W ij  y  S  W ij
j
j
де y - вихід j-го нейрону; S - зважена сума його вхід-
j
j
них сигналів, тобто аргумент активаційної функції;
 S  W  y n  1 - i -й вхід j-го нейрону.
j ij ij
За активаційну функцію приймають гіперболічний
dy 2
тангенс з похідною  1 s або логістичну функцію.
ds
Для похідної E  y маємо
j
 E  E  y  S k  E y  k n  1
k
    W ,
y  j k  y  S k y  j k  y  S k jk
k
k
158