Page 29 - 4143

Доказ збіжності навчання в процесі зворотного розповсюдження

заснований на обчисленні похідних, тобто прирости ваг і, отже,
швидкість навчання повинна бути нескінченно малою, проте в
цьому випадку навчання відбуватиметься неприйнятно поволі. З
другого боку, дуже великі корекції вагових коефіцієнтів можуть

привести до постійної нестійкості процесу навчання. Тому, як
правило, η вибирають менше 1, але не дуже маленьке, наприклад
0.1, і воно, в загальному випадку, може поступово зменшуватися в

процесі навчання. Крім того, для виключення випадкових попадань
в локальні мінімуми іноді, після того, як значення вагових
коефіцієнтів стабілізується, η короткочасно сильно збільшують,
щоб почати градієнтний спуск з нової точки. Якщо повторення цієї

процедури кілька разів приведе алгоритм в один і той же стан НМ,
можна більш-менш упевнено сказати, що знайдений глобальний

мінімум.
У літературі детально описані алгоритми, що модифікують
процедуру зворотного розповсюдження, змінюють процедуру
вибору функції критерію оптимізації, вибір оптимального кроку і

правила корекції параметрів навчальної мережі.
Відзначимо, що всі ці алгоритми не узгоджуються з даними
нейробіології, де показано, що сигнали в біологічних нейронних

мережах можуть розповсюджуватися тільки в одному, прямому
напрямі.

Навчальний елемент 1.11 Навчання без вчителя

Навчання без вчителя [1,2] є більш правдоподібною моделлю
навчання в біологічній системі. Процес навчання, як і у разі
навчання з вчителем, полягає в настроюванні ваг синапсів.
Деякі алгоритми передбачають зміну і структури мережі, тобто

кількість нейронів і їх взаємозв'язкі, але такі перетворення
правильніше назвати більш широким терміном -
самоорганізацією. Очевидно, що настроювання синапсів може

проводитися тільки на підставі інформації, доступної нейрону,
тобто його власного стану і вже наявних вагових коефіцієнтів.
Виходячи з цього міркування і, що більш важливе, по аналогії з
відомими принципами самоорганізації нервових кліток,

побудовані алгоритми навчання Хебба [1,2].

29