Page 38 - 4703

на інтерпретація може мати місце і в завданнях регресії - вихід
мережі розглядається як очікуване значення моделі в цій точці
простору входів. Це очікуване значення пов'язане з щільністю
вірогідності спільного розподілу вхідних і вихідних даних.
Завдання оцінки щільності вірогідності (p.d.f.) за даними
має давню історію в математичній статистиці і відноситься до
області байесової статистики. Звичайна статистика по заданій
моделі говорить нам, яка буде вірогідність того або іншого
результату (наприклад, що на гральній кістці шість очок випа-
датиме в середньому в одному випадку з шести). Байесова
статистика перевертає питання вверх ногами: правильність
моделі оцінюється за наявними достовірними даними. У за-
гальнішому плані, байесова статистика дає можливість
оцінювати щільність вірогідності розподілів параметрів моделі
по наявних даних. Для того, щоб мінімізувати помилку, виби-
рається модель з такими параметрами, при яких щільність
вірогідності буде найбільшою.
При рішенні задачі класифікації можна оцінити щіль-
ність вірогідності для кожного класу, порівняти між собою
вірогідність приналежності різним класам і вибрати найбільш
вірогідний. Насправді саме це відбувається, коли ми навчаємо
нейронну мережу вирішувати завдання класифікації - мережа
намагається визначити (тобто апроксимувати) щільність
вірогідності.
Традиційний підхід до завдання полягає в тому, щоб по-
будувати оцінку для щільності вірогідності за наявними дани-
ми. Зазвичай при цьому передбачається, що щільність має де-
який певний вигляд (найчастіше - що вона має нормальний
розподіл). Після цього оцінюються параметри моделі. Нор-
мальний розподіл часто використовується тому, що тоді пара-
метри моделі (середнє і стандартне відхилення) можна оціни-
ти аналітично. При цьому залишається питання про те, що
припущення про нормальність не завжди виправдане.
Інший підхід до оцінки щільності вірогідності заснова-
ний на ядерних оцінках. Можна міркувати так: той факт, що
спостереження розташоване в цій точці простору, свідчить про
те, що в цій точці є деяка щільність вірогідності. Кластери з
точок, що близько лежать, вказують на те, що в цьому місці
щільність вірогідності велика. Поблизу спостереження є біль-
ша довіра до рівня щільності, а у міру віддалення від нього

38