Page 42 - 4524

Раціональна сигмоїда:
S
f ( S)  , (5.9)
S  
Гіперболічний тангенс:
S S


S e  e 
f ( S ) th  , (5.10)
 S  S

e  e 
Згадані функції відносяться до однопараметричних. Зна-
чення функції залежить від аргументу й одного параметра.
Також використовуються багатопараметричні передатні фун-
кції, наприклад:
S
f (S )  p  p , (5.11)
1 3
S  p
2
Сигмоїдальні функції є монотонно зростаючими і мають
відмінні від нуля похідні по всій області визначення. Ці хара-
ктеристики забезпечують правильне функціонування і на-
вчання мережі.
Області застосування. Розпізнавання образів, класифі-
кація, прогнозування.
Недоліки. Багатокритеріальна задача оптимізації в мето-
ді зворотного поширення розглядається як набір однокритері-
альних задач - на кожній ітерації відбуваються зміни значень
параметрів мережі, що покращують роботу лише з одним
прикладом навчальної вибірки. Такий підхід істотно зменшує
швидкість навчання.
Переваги. Зворотне поширення - ефективний та популя-
рний алгоритм навчання багатошарових нейронних мереж, з
його допомогою вирішуються численні практичні задачі.
Модифікації. Модифікації алгоритму зворотного поши-
рення зв'язані з використанням різних функцій похибки, різ-
них процедур визначення напрямку і величини кроку.

5.3 Delta Bar Delta

Delta bar Delta була розроблена Робертом Джекобсом
(Robert Jacobs), для покращення оцінки навчання стандартних
мереж FeedForward і є модифікацією мережі BackPropagation.

41