Википедија

Multiklasna klasifikacija

Višeklasna, multiklasna ili multinomna klasifikacija, u mašinskom učenju, predstavlja problem klasifikacije primeraka u jednu od tri ili više klasa (klasifikacija primeraka u jednu od dve klase naziva se binarna klasifikacija).

Iako mnogi algoritmi klasifikacije (posebno multinomna logistička regresija) prirodno dozvoljavaju upotrebu više od dve klase, neki su po prirodi binarni algoritmi; međutim, oni mogu biti pretvoreni u multinomne klasifikatore raznim strategijama.

Klasifikaciju više klasa ne treba mešati sa klasifikacijom više oznaka, gde višestruke oznake treba predvideti za svaki primerak.

Opšte strategije uredi

Postojeće višerazredne tehnike klasifikacije mogu se kategorisati u:

  1. transformacije u binarno
  2. proširenje iz binarne i
  3. hijerarhijsko klasifikovanje.[1]

Transformacija u binarnu uredi

Ovaj odeljak razmatra strategije za smanjenje problema klasifikacije više klasa na probleme višestruke binarne klasifikacije. Može se svrstati u jedan protiv svih i svako protiv svakog. Tehnike razvijene na osnovu smanjenja problema više klase na višestruke binarne probleme mogu se nazvati i tehnikama transformacije problema.

Jedan protiv svih uredi

Strategija jedan protiv svih [2] uključuje obučavanje jednog klasifikatora po klasi, sa uzorcima te klase kao pozitivnim uzorcima i svim ostalim uzorcima kao negativnim. Ova strategija zahteva da osnovni klasifikatori daju stvarnu vrednost ocena pouzdanosti za svoju odluku, a ne samo oznaku razreda; same diskretne oznake klase mogu dovesti do nejasnoća, gde se za jedan uzorak predviđa više klasa.[3]

U pseudokodu, algoritam treninga za učenika jedan protiv svih konstruisan od učenika binarne klasifikacije L je sledeći algoritam:

Ulazi:

  • L, učenik (algoritam obuke za binarne klasifikatore)
  • uzorci X
  • oznake y gde yi ∈ {1, … K} je oznaka za uzorak Xi
Izlaz:
  • Spisak klasifikatora fk za k ∈ {1, …, K}
Procedura:
  • Za svaki k u {1, …, K}
    • Konstruisati novi vektor oznake z gde zi = yi ako je yi = k i zi = 0 ili
    • Primeniti L na X, z da bi ste dobili fk
 

Iako je ova strategija popularna, ona je heuristika i  ima nekoliko problema. Prvo, skala vrednosti pouzdanosti može se razlikovati između binarnih klasifikatora. Drugo, čak i ako je raspodela klasa uravnotežena u skupu obuke, polaznici binarne klasifikacije vide neuravnotežene raspodele jer je skup negativa koje oni vide tipično mnogo veći od skupa pozitiva.

Svako protiv svakog uredi

U redukciji jedan prema jedan, jedan obučava K (K − 1) / 2 binarne klasifikatore za K-put višerazredni problem; svaki dobija uzorke par klasa iz originalnog seta za obuku, i mora naučiti da razlikuje ove dve klase. U vreme predviđanja primenjuje se šema glasanja: svi K (K − 1) / 2 klasifikatori primenjuju se na neviđeni uzorak i klasu koja je dobila najviši broj predviđanja "+1" predviđa kombinovani klasifikator.

Kao i jedan protiv svih, svako protiv svakog ima nejasnoće u tome što neki regioni njegovog ulaznog prostora mogu dobiti isti broj glasova.

Proširenje iz binarnog uredi

Ovaj odeljak razmatra strategije proširenja postojećih binarnih klasifikatora za rešavanje problema klasifikacije višestrukih klasa. Nekoliko algoritama je razvijeno na osnovu neuronskih mreža, stabala odlučivanja, algoritam k najbližih suseda, naivnog Bajes-a, metoda potpornih vektora i metoda ekstremnog učenja za rešavanje problema klasifikacije višestrukih klasa. Ove vrste tehnike se takođe mogu nazvati tehnikama adaptacija algoritma.

Neuronske mreže uredi

Višerazredni perceptroni pružaju prirodno proširenje problema više klase. Umesto da imate samo jedan neuron u izlaznom sloju, sa binarnim izlazom, možete imati N binarnih neurona što dovodi do višerazredne klasifikacije. U praksi, poslednji sloj neuronske mreže je obično sloj softmaks funkcije, koji je algebarsko pojednostavljenje N logističkih klasifikatora, normalizovan po klasi prema zbiru N-1 ostalih logističkih klasifikatora.

Metode ekstremnog učenja uredi

Metode ekstremnog učenja su poseban slučaj neuralnog jednostrukog sakrivenog sloja mreže za prosleđivanje povratnih informacija gde se u ulaznim težinama i skrivenom čvoru odstupanja mogu odabrati nasumično. Mnogo je varijanti i razvoja metoda ekstremnog učenja za klasifikaciju više klasa.

K-najbliži susedi uredi

K-najbliži susedi se smatra među najstarijim algoritmima za neparametarsku klasifikaciju. Da bismo klasifikovali nepoznati primer, meri se udaljenost od tog primera do svakog drugog primera za obuku. Identifikuju se k najmanja rastojanja i najviše prikazana klasa ovih k-najbližih suseda smatra se oznakom izlazne klase.

Naivni Bajes uredi

Naivni Bajes je uspešan klasifikator zasnovan na principu maksimalnog prethodnog iskustva. Ovaj pristup je prirodno proširiv na slučaj da imamo više od dve klase i pokazalo se da ima dobre rezultate uprkos osnovnoj pojednostavljujućoj pretpostavci o uslovnoj nezavisnosti.

Stabla odlučivanja uredi

Učenje po principu stabala odlučivanja moćna je tehnika klasifikacije, Stablo pokušava da izvede podelu podataka o obuci zasnovanoj na vrednostima dostupnih karakteristika kako bi se proizvela dobra generalizacija. Algoritam može prirodno da reši binarne ili višerazredne probleme klasifikacije. Čvorovi lista mogu se odnositi na bilo koju K klasu.

Metode potpornih vektora uredi

Metode potpornih vektora zasnivaju se na ideji maksimiziranja margine, tj. maksimiziranja minimalne udaljenosti od razdvajajuće hiper ravni do najbližeg primera. Osnovna metoda potpornih vektora podržava samo binarnu klasifikaciju, ali su predložena proširenja kako bi se rešio slučaj višeklasne klasifikacije. U ovim proširenjima, dodatni parametri i ograničenja dodati su problemu optimizacije radi rešavanja razdvajanja različitih klasa.

Hijerarhijska klasifikacija uredi

Hijerarhijska klasifikacija se bavi problemom klasifikacije više klasa podelom izlaznog prostora u stablo. Svaki roditeljski čvor podeljen je na više podređenih čvorova i proces se nastavljeno sve dok svaki podređeni čvor ne predstavlja samo jednu klasu. Nekoliko metoda predloženo je na osnovu hijerarhijske klasifikacije.

Paradigme učenja uredi

Na osnovu paradigmi učenja, postojeće višerazredne tehnike klasifikacije mogu biti klasifikovane u grupno učenje i učenje na mreži. Algoritmi grupnog učenja zahtevaju da svi uzorci podataka budu prethodno dostupni. On obučava model koristeći sve podatke o obuci, a zatim predviđa test uzorak koristeći pronađenu vezu. S druge strane, algoritmi za učenje na mreži postupno grade svoje modele u sekvencijalnim iteracijama (ponavljanjima). U iteraciji t, internet algoritam prima uzorak xt i predviđa njegovu oznaku ŷt koristeći trenutni model; algoritam zatim prima yt, istinsku oznaku xt i ažurira svoj model na osnovu para uzorak-oznaka: (xt, yt). Nedavno je razvijena nova paradigma učenja koja je nazvana progresivna tehnika učenja. [4]Tehnika progresivnog učenja sposobna je ne samo da uči iz novih uzoraka, već je sposobna i za učenje novih klasa podataka, a opet zadržava do sada stečeno znanje.[5]

Vidi još uredi

Reference uredi

  1. ^ Aly, Muhamed (2005). „"Survey on multiclass classification methods"” (PDF). Arhivirano iz originala (PDF) 10. 05. 2017. g. Pristupljeno 19. 01. 2021. 
  2. ^ Bishop, Christopher M. (2006). Pattern Recognition and Machine Learning. Singapore: Springer. ISBN 978-0387310732. 
  3. ^ Bishop, Christopher (2006). Pattern Recognition and Machine Learning. Springer. 
  4. ^ Venkatesan, Rajasekar (2016). "A novel progressive learning technique for multi-class classification". 
  5. ^ Venkatesan, Rajasekar. „"Progressive Learning Technique"”. Arhivirano iz originala 10. 05. 2017. g. Pristupljeno 19. 01. 2021. 
Preuzeto iz „https://sr.wikipedia.org/w/index.php?title=Мултикласна_класификација&oldid=26945466”