Page 33 - 4703

відбувається на окремих випадках, надмірність даних не шко-
дить (якщо, наприклад, приписати до наявного набору даних
ще один такий самий набір, так що кожен випадок повторюва-
тиметься двічі, то епоха займатиме удвічі більше часу, чим
раніше, проте результат її буде таким самим, як від двох ста-
рих, так що нічого поганого не станеться). Методи ж Левен-
берга-Маркара і зв'язаних градієнтів проводять обчислення на
усьому наборі даних, тому при збільшенні числа спостережень
тривалість однієї епохи сильно росте, але при цьому зовсім не
обов'язково покращується результат, досягнутий на цій епосі
(зокрема, якщо дані надмірні; якщо ж дані рідкісні, то дода-
вання нових даних поліпшить навчання на кожній епосі). Крім
того, зворотне поширення не поступається іншим методам в
ситуаціях, коли даних мало, оскільки в цьому випадку недо-
статньо даних для ухвалення дуже точного рішення (тонший
алгоритм може дати меншу помилку навчання, але контрольна
помилка у нього, швидше за все, не буде менше).
Інші методи. Окрім вже перерахованих, в пакеті ST
Neural Networks є дві модифікації методу зворотного поши-
рення - метод швидкого поширення) і дельта-дельта з рискою
- розроблені з метою здолати деякі обмеження цього підходу.
У більшості випадків вони працюють не краще, ніж зворотне
поширення, а іноді і гірше (це залежить від завдання). Крім
того, в цих методах використовується більше управляючих
параметрів, ніж в інших методах, і тому ними складніше кори-
стуватися.

1.2.3 Радіальна базисна функція (RBF)

У попередньому розділі було описано, як багатошаровий
персептрон моделює функцію відгуку за допомогою функцій
"сигмоїдних схилів " - в завданнях класифікації це відповідає
розбиттю простору вхідних даних за допомогою гіперплощин.
Метод розбиття простору гіперплощинами представляється
природним і інтуїтивно зрозумілим, бо він використовує фун-
даментальне просте поняття прямої лінії.
Таким же природним є підхід, заснований на розбитті
простору колами або (у загальному випадку) гіперсферами.
Гіперсфера задається своїм центром і радіусом. Подібно до
того, як елемент MLP реагує (нелінійно) на відстань від цієї

33