Page 28 - 4143

Рисунок 1.11 – Діаграма сигналів в мережі при навчанні за

алгоритмом зворотного розповсюдження
помилки

З виразу (1.32) виходить, що, коли вихідне значення y i ( n - 1)
прямує до нуля, ефективність навчання помітно знижується. При
двійкових вхідних векторах в середньому половина вагових

коефіцієнтів не коректуватиметься, тому область можливих значень
виходів нейронів [0, 1] бажано зсунути в межі [-0.5, 0.5], що
досягається простою модифікацією логістичної функцій.

Наприклад, сигмоід з експонентою перетворюється до вигляду

1
f(x) = -0.5+ . (1.38)
1 exp( ax )

Даний алгоритм має декілька "вузьких місць". По-перше, в
процесі навчання може виникнути ситуація, коли великі позитивні
або негативні значення вагових коефіцієнтів змістять робочу точку

на сигмоідах багатьох нейронів в область насичення. Малі величини

похідної від логістичної функції приведуть у відповідності з (1.30) і
(1.31) до зупинки навчання, що паралізує. По-друге, вживання
методу градієнтного спуску не гарантує, що буде знайдений

глобальний, а не локальний мінімум цільової функції. Ця проблема
пов'язана ще з однією, а саме - з вибором коефіцієнта швидкості
навчання η.

28