Page 21 - 4524

Рисунок 2.4 – Лінійна уніполярна функція з насиченням

Незважаючи на те, що лінійні функції є найбільш прос-
тими, їхнє застосування обмежене, в основному, найпрості-
шими ШНМ, які не мають у своєму складі прихованих шарів,
у яких, крім того, існує лінійна залежність між вхідними і ви-
хідними змінними. Такі мережі мають обмежені можливості.
Для багатошарової ж лінійної мережі справедливе наступне.
Оскільки після вхідного оператора на оператор активації над-
ходить сукупність зважених вхідних сигналів, записана, на-
приклад, у матричному вигляді W 1x, використання лінійної
активаційної функції призводить до того, що на виході друго-
го шару з’явиться сигнал W 2(W 1x)=(W 2W 1)x. Це означає, що
двошарова лінійна мережа еквівалентна одношаровій з ваго-
вою матрицею, що дорівнює добутку вагових матриць першо-
го й другого шарів. Звідси випливає, що будь-яка багатошаро-
ва лінійна мережа може бути замінена еквівалентною одно-
шаровою. Хоча використання лінійних активаційних функцій
не є зайвим у багатошарових ШНМ, для розширення їхніх
можливостей застосовують нелінійні функції активації.
Найбільш розповсюджені нелінійні активаційні функції
наступні:
- уніполярна поргова функція
 ,1 z  ;
f (z )   (2.10)
 , 0 z  .

20