Page 43 - 4524

Процедура BackPropagation базується на підході найкру-
тішого спуску, який мінімізує похибку передбачення мережі
під час процесу змінювання синаптичних ваг. Стандартні оці-
нки навчання застосовуються на базисі "прошарок за прошар-
ком" і значення моменту призначаються глобально. Момен-
том вважається фактор, що використовується для згладжуван-
ня оцінки навчання. Момент додається до стандартної зміни
ваги і є пропорційним до попередньої зміни ваги. Хоча цей
метод є успішним у вирішенні багатьох задач, збіжність про-
цедури занадто повільна для використання.
Парадигма Delta bar Delta має "неформальний" підхід до
навчання штучних мереж, при якому кожна вага має свій вла-
сний самоадаптований фактор навчання і минулі значення по-
хибки використовуються для обчислення майбутніх значень.
Знання ймовірних похибок дозволяє мережі робити інтелекту-
альні кроки при змінюванні ваг, але процес ускладнюється
тим, що кожна вага може мати зовсім різний вплив на загаль-
ну похибку. Джекобс запропонував поняття "здорового глуз-
ду", коли кожна вага з'єднання мережі повинна мати власну
оцінку навчання, а розмір кроку, що призначений до одної ва-
ги з'єднання не застосовується для всіх ваг у прошарку.
Оцінка навчання ваги з'єднання змінюється на основі ін-
формації про біжучу похибку, знайденої із стандартної
ВackРropagation. Якщо локальна похибка має однаковий знак
для декількох послідовних часових кроків, оцінка навчання
для цього з'єднання лінійно збільшується. Якщо локальна по-
хибка часто змінює знак, оцінка навчання зменшується геоме-
трично і це гарантує, що оцінки навчання з'єднання будуть
завжди додатними. Оцінкам навчання дозволено змінюватись
в часі. Призначення оцінки навчання до кожного з'єднання,
дозвіл цій оцінці навчання неперервне змінюватись з часом
обумовлюють зменшення часу збіжності.
З дозволом різних оцінок навчання для кожної ваги з'єд-
нання у мережі, пошук найкрутішого спуску може не викону-
ватись. Замість цього, ваги з'єднань змінюються на основі час-
ткових похідних похибки відносно самої ваги і оцінці "криви-
ни поверхні похибки" поблизу біжучої точки значення ваги.
Зміни ваг відповідають обмеженню місцевості і вимагають
інформацію від нейронів, з якими вони з'єднані.

42