Page 33 - 4524

4.2 Правила навчання

У загальному використанні є багато правил навчання,
але більшість з цих правил є деякою зміною відомого та най-
старшого правила навчання, правила Хеба. Дослідження різ-
них правил навчання триває, і нові ідеї регулярно публікують-
ся в наукових та комерційних виданнях. Представимо декіль-
ка основних правил навчання.
Правило Хеба. Опис правила з’явився у його книзі «Ор-
ганізація поведінки» у 1949 р. «Якщо нейрон отримує вхідний
сигнал від іншого нейрону і обидва є високо активними (ма-
тематично мають такий самий знак), вага між нейронами по-
винна бути підсилена». При збудженні одночасно двох нейро-
нів з виходами (х j, у і) на k-тому кроці навчання вага синаптич-
ного з’єднання між ними зростає, в інакшому випадку – зме-
ншується, тобто
W ij(k)=r x j (k) y i (k), (4.1)
де r - коефіцієнт швидкості навчання.
Може застосовуватись при навчанні "з вчителем" і "без
вчителя".
Правило Хопфілда. Є подібним до правила Хеба за ви-
нятком того, що воно визначає величину підсилення або пос-
лаблення. "Якщо одночасно вихідний та вхідний сигнал ней-
рона є активними або неактивними, збільшуємо вагу з'єднання
оцінкою навчання, інакше зменшуємо вагу оцінкою навчан-
ня".
Правило "дельта". Це правило є подальшою зміною
правила Хеба і є одним із найбільш загально використовува-
них. Це правило базується на простій ідеї неперервної зміни
синаптичних ваг для зменшення різниці ("дельта") між зна-
ченням бажаного та біжучого вихідного сигналу нейрона.
W ij= x j (d i - y i). (4.2)
За цим правилом мінімізується середньоквадратична по-
хибка мережі. Це правило також згадується як правило на-
вчання Відрова-Хофа та правило навчання найменших серед-
ніх квадратів.
У правилі "дельта" похибка отримана у вихідному про-
шарку перетворюється похідною передатної функції і послі-
довно пошарово поширюється назад на попередні прошарки
для корекції синаптичних ваг. Процес зворотного поширення

32