Page 53 - 4703

[0.25,0.75]). В результаті навчальні спостереження відобража-
тимуться в рівні, що відповідають середній частині діапазону
вихідних значень. Цікаво помітити, що якщо цей діапазон
вибраний малим, і обидві його межі знаходяться поблизу зна-
чення 0.5, то він відповідатиме середній ділянці сигмоїдної
кривої, на якому вона "майже лінійна" - тоді ми матимемо
практично ту ж схему, що і у разі лінійного вихідного шару.
Така мережа зможе виконувати екстраполяцію в певних
межах, а потім насичуватиметься. Усе це можна добре собі
представити так: екстраполяція допустима в певних межах, а
поза ними вона присікатиметься.
Якщо застосовується перший підхід і у вихідному шарі
поміщені лінійні елементи, то може вийти так, що взагалі
немає необхідності використати алгоритм масштабування,
оскільки елементи і без масштабування можуть видавати будь-
який рівень вихідних сигналів. У пакеті ST Neural Networks є
можливість для більшої ефективності взагалі відключити усі
масштабування. Проте, на практиці повна відмова від масшта-
бування призводить до труднощів в алгоритмах навчання.
Дійсно, в цьому випадку різні ваги мережі працюють в мас-
штабах, що сильно розрізняються, і це ускладнює початкову
ініціалізацію вагів і (частково) навчання. Тому не рекомен-
дується відключати масштабування, за винятком тих випадків,
коли діапазон вихідних значень дуже малий і розташований
поблизу нуля. Це ж міркування говорить на користь масшта-
бування і при пре-процессуванні в MLP-мережах (при якому, в
принципі, ваги першого проміжного шару можна легко кори-
гувати, домагаючись цим будь-якого потрібного масштабу-
вання).
Досі в нашому обговоренні ми приділяли основну увагу
тому, як в завданнях регресії застосовуються мережі MLP, і
особливо тому, як мережі такого типу поводяться в сенсі екс-
траполяції. Мережі, в яких використовуються радіальні еле-
менти (RBF і GRNN), працюють абсолютно інакше і про них
слід поговорити окремо.
Радіальні мережі по самій своїй природі нездібні до екс-
траполяції. Чим далі вхідний приклад розташований від точок,
що відповідають радіальним елементам, тим менше стають
рівні активації радіальних елементів і (врешті-решт) тим мен-
ше буде вихідний сигнал мережі. Вхідний приклад, розташо-

53