Granica odluke
U problemu statističke klasifikacije sa dve klase, granica odluke ili površina odluke je hiperpovršina koja deli osnovni vektorski porstor na dva skupa, po jedan za svaku klasu. Klasifikator će klasifikovati sve tačke na jednoj strani granice odluke kao da pripadaju jednoj klasi, a sve one na drugoj strani kao da pripadaju drugoj klasi.
Granica odluke je oblast problematičnog prostora u kojoj je izlazna oznaka klasifikatora dvosmislena. [1]
Ako je površina odlučivanja hiperravan, onda je problem klasifikacije linearan, a klase su linearno odvojive.
Granice odluka nisu uvek jasne. To jest, prelazak iz jedne klase u prostoru obeležja u drugu nije diskontinuiran, već postepen. Ovaj efekat je uobičajen u klasifikacionim algoritmima zasnovanim na fazi logike, gde je članstvo u jednoj ili drugoj klasi dvosmisleno.
U neuronskim mrežama i vektorskim modelima podrške
urediU slučaju neuronskih mreža ili perceptrona zasnovanom na bekpropagaciji , vrsta granice odluke koju mreža može naučiti se određuje po broju skrivenih slojeva koju mreža ima. Ako nema skrivenih slojeva, onda može naučiti samo linearne probleme. Ako ima jedan skriveni sloj, onda može naučiti bilo koju neprekindu funkciju na kompaktnim podskupovima R n kao što je prikazano teoremom univerzalne aproksimacije, tako da može imati proizvoljnu granicu odluke.
Konkretno, mašine sa vektorima podrške pronalaze hiperravan koji razdvaja prostor u dve klase sa maksimalnom marginom . Ako problem nije prvobitno linearno odvojiv, trik kernela se može koristiti da se pretvori u linearno odvojiv, povećanjem broja dimenzija. Tako se opšta hiperravan u prostoru male dimenzije pretvara u hiperravan u prostoru mnogo većih dimenzija.
Neuronske mreže pokušavaju da nauče granicu odluke koja minimizira empirijsku grešku, dok mašine za podršku vektorima pokušavaju da nauče granicu odluke koja maksimizira empirijsku marginu između granice odluke i tačaka podataka.