Граница одлуке
У проблему статистичке класификације са две класе, граница одлуке или површина одлуке је хиперповршина која дели основни векторски порстор на два скупа, по један за сваку класу. Класификатор ће класификовати све тачке на једној страни границе одлуке као да припадају једној класи, а све оне на другој страни као да припадају другој класи.
Граница одлуке је област проблематичног простора у којој је излазна ознака класификатора двосмислена. [1]
Ако је површина одлучивања хиперраван, онда је проблем класификације линеаран, а класе су линеарно одвојиве.
Границе одлука нису увек јасне. То јест, прелазак из једне класе у простору обележја у другу није дисконтинуиран, већ постепен. Овај ефекат је уобичајен у класификационим алгоритмима заснованим на фази логике, где је чланство у једној или другој класи двосмислено.
У неуронским мрежама и векторским моделима подршке уреди
У случају неуронских мрежа или перцептрона заснованом на бекпропагацији , врста границе одлуке коју мрежа може научити се одређује по броју скривених слојева коју мрежа има. Ако нема скривених слојева, онда може научити само линеарне проблеме. Ако има један скривени слој, онда може научити било коју непрекинду функцију на компактним подскуповима R n као што је приказано теоремом универзалне апроксимације, тако да може имати произвољну границу одлуке.
Конкретно, машине са векторима подршке проналазе хиперраван који раздваја простор у две класе са максималном маргином . Ако проблем није првобитно линеарно одвојив, трик кернела се може користити да се претвори у линеарно одвојив, повећањем броја димензија. Тако се општа хиперраван у простору мале димензије претвара у хиперраван у простору много већих димензија.
Неуронске мреже покушавају да науче границу одлуке која минимизира емпиријску грешку, док машине за подршку векторима покушавају да науче границу одлуке која максимизира емпиријску маргину између границе одлуке и тачака података.