Page 59 - 4703

пакеті ST Neural Networks є можливість "ігнорувати" деякі
змінні, так що отримана мережа не використовуватиме їх як
входів. Можна по черзі експериментувати з різними
комбінаціями входів, будуючи всякий раз нові варіанти мереж.
При такому експериментуванні дуже корисними вияв-
ляються імовірнісні і узагальнено-регресійні мережі. Попри те,
що вони працюють повільніше компактніших MLP і RBF ме-
реж, вони навчаються майже миттєво, і це важливо, оскільки
при переборі великого числа комбінацій вхідних змінний до-
водиться кожного разу будувати нові мережі. Крім того, PNN і
GRNN (як і RBF) - це радіальні мережі (у першому шарі вони
мають радіальні елементи і апроксимуюча функція будуються
у вигляді комбінацій гаусових функцій). При відборі вхідних
змінних це є перевагою, оскільки радіальні мережі у меншій
мірі страждають від прокляття розмірності, ніж мережі, побу-
довані на лінійних елементах.
Щоб зрозуміти причину цього, розглянемо, що станеть-
ся, якщо ми додамо в мережу нову, можливо абсолютно
несуттєву вхідну змінну. Мережа на лінійних елементах,
наприклад MLP, може навчитися привласнювати вагам, що
йдуть від цієї змінної, нульові значення, що означає ігно-
рування змінної (реально це відбувається так: спочатку малі
ваги цієї змінної так і залишаються малими, а ваги змістовних
вхідних змінних міняються потрібним чином). Радіальна ме-
режа типу PNN або GRNN не може дозволити собі таку роз-
кіш: кластери, що утворюються в просторі невеликого числа
істотних змінних, "розмазуються" по напрямах несуттєвої
розмірності - для обліку розкиду по несуттєвих напрямах по-
трібно більше число елементів. Мережа, що більшою мірою
страждає від наявності поганих вхідних даних, має перевагу,
коли ми прагнемо позбавитися т цих поганих даних.
Оскільки описаний процес експериментування займає
багато часу, в пакеті ST Neural Networks є інструмент, який
може зробити це за нас. Для вибору відповідної комбінації
вхідних змінних тут використовується так званий генетичний
алгоритм. Генетичні алгоритми добре пристосовані для зав-
дань такого типу, оскільки вони дозволяють здійснювати по-
шук серед великого числа комбінацій за наявності внутрішніх
залежностей в змінних.

59