Page 30 - 4703

У завданнях класифікації дуже важливо зрозуміти, як
слід інтерпретувати ті точки, які потрапили на схил або лежать
близько від нього. Стандартний вихід тут полягає в тому, щоб
для порогових значень встановити деякі довірчі межі (прий-
няття або відкидання), які мають бути досягнуті, щоб даних
елемент вважався таким, що "прийняв рішення". Наприклад,
якщо встановлені пороги прийняття/відкидання 0.95/0.05, то
при рівні вихідного сигналу, що перевершує 0.95 елемент
вважається активним, при рівні нижче 0.05 - неактивним, а в
проміжку - "невизначеним".
Є і тонший (і, ймовірно, корисніший) спосіб інтерпрету-
вати рівні вихідного сигналу: вважати їх вірогідністю. В цьому
випадку мережа видає дещо більшу інформацію, ніж просто
"так/ні": вона повідомляє нас, наскільки (у деякому формаль-
ному сенсі) ми можемо довіряти її рішенню. Розроблені (і ре-
алізовані в пакеті ST Neural Networks) модифікації методу
MLP, що дозволяють інтерпретувати вихідний сигнал нейрон-
ної мережі як вірогідність, внаслідок чого мережа по суті вчи-
ться моделювати щільність вірогідності розподілу цього кла-
су. При цьому, проте, імовірнісна інтерпретація обгрунтована
тільки у тому випадку, якщо виконані певні припущення
відносно розподілу початкових даних (конкретно, що вони є
вибіркою з деякого розподілу, що належить до сімейства
експоненціальних розподілів; (Bishop, 1995). Тут, як і раніше,
може бути прийняте рішення по класифікації, але, крім того,
імовірнісна інтерпретація дозволяє ввести концепцію "рішен-
ня з мінімальними витратами".

Інші алгоритми навчання MLP

Вище було описано, як за допомогою алгоритму зворот-
ного поширення здійснюється градієнтний спуск по поверхні
помилок. Коротко справа відбувається так: в даній точці по-
верхні знаходиться напрям швидкого спуску, потім робиться
стрибок вниз на відстань, пропорційну коефіцієнту швидкості
навчання і крутизні схилу, при цьому враховується інерція,
тобто прагнення зберегти колишній напрям руху. Можна ска-
зати, що метод поводиться як сліпий кенгуру - кожного разу
стрибає в напрямі, який здається йому найкращим. Насправді
крок спуску обчислюється окремо для усіх навчальних спо-

30