Page 10 - 4143

Рисунок 1.3 – Типи активаційних функцій:
а - функція одиничного стрибка; б - лінійний поріг
(гістерезис); в – гіперболічний тангенс; г - сигмоід за

формулою (1.3)

функція залежить ще від одного або декількох параметрів, значення
яких міняються від нейрона до нейрона, то мережу називають

неоднорідною (гетерогенної).
Однією з найпоширеніших є нелінійна функція з насиченням, так
звана логістична (логарифмічна) функція або сигмоід (тобто функція

S-образного вигляду) [1]:

1
f (x )  . (1.3)
1 exp( ax )

При зменшенні а сигмоід стає більш пологим, гранично при а = 0
вироджуючись в горизонтальну лінію на рівні 0.5. При збільшенні а

сигмоід наближається на вигляд до функції одиничного стрибка з
порогом в точці х = Т . З виразу для сигмоіда очевидно, що вихідне
значення нейрона лежить в діапазоні [0,1]. Одна з цінних
властивостей сигмоідной функції - простий вираз для її похідної,

застосування якого буде розглянуто надалі

f'(x)= αf(x)(1-f(x)). (1.4)

Слід зазначити, що сигмоідная функція диференцюється на всій осі
абсцис, що широко використовується в багатьох алгоритмах

навчання. Крім того, вона володіє властивістю підсилювати слабкі
сигнали краще, ніж сильні, і запобігає насиченню від сильних
сигналів, оскільки вони відповідають областям аргументів, де сигмоід
має пологий нахил. Іншою широко застосовною активаційною

функцією є гіперболічний тангенс. На відміну від логістичної функції

10