Page 44 - 4524

Переваги. Парадигма Delta Bar Delta є спробою приско-
рити процес збіжності алгоритму зворотного поширення за
рахунок використання додаткової інформації про зміну пара-
метрів і ваг під час навчання.
Недоліки:
 Навіть невелике лінійне збільшення коефіцієнта може
привести до значного росту швидкості навчання, що викликає
стрибки в просторі ваг.
 Геометричне зменшення коефіцієнта іноді виявляється
не досить швидким.

5.4 Extended Delta Bar Delta

Елі Мінаї (Ali Minai) та Рон Вільямс (Ron Williams) роз-
робили алгоритм Extended Delta bar Delta, як природній наслі-
док роботи Джекобса. В алгоритм вбудовується пам'ять з осо-
бливістю відновлення. Після кожного представлення навчаль-
них даних епохи, оцінюється накопичена похибка. Якщо по-
хибка є меншою за попередню мінімальну похибку, ваги збе-
рігаються у пам'яті, як найкращі на цей час. Параметр допуску
керує фазою відновлення. У випадку, коли біжуча похибка
перевищує мінімальну попередню похибку, модифіковану па-
раметром допуску, всі значення ваг з'єднань стохастичне по-
вертаються до збереженої у пам'яті найкращої множини ваг.

5.5 Скерований випадковий пошук

Мережа скерованого випадкового пошуку (Directed
Random Search), використовує стандартну архітектуру
FeedForward, яка не базується на алгоритмі BackProragation і
коректує ваги випадковим чином. Для забезпечення порядку в
такому процесі, до випадкового кроку додається компонента
напрямку, яка гарантує скерування ваг до попередньо успіш-
ного напрямку пошуку. Вплив на всі нейрони здійснюється
окремо.
Для збереження ваг всередині компактної області, де ал-
горитм працює добре, встановлюють верхню межу величини
ваги. Встановлюючи межі ваг великими, мережа може продо-
вжувати працювати, оскільки справжній глобальний оптимум
лишається невідомим. Іншою особливістю правила навчання є

43