Ispravljač (neuronske mreže)

 

Grafikon funkcije ReLU ispravljača (plavi) i GELU (zeleni) u blizini x = 0

U kontekstu veštačkih neuronskih mreža, funkcija aktivacije ispravljača ili ReLU (Rectified Linear Unit) je aktivaciona funkcija definisana kao pozitivan deo svog argumenta:

$f(x)=x^{+}=\max(0,x)$

gde x predstavlja ulaz u neuron. Ovo je inače poznato i kao funkcija rampe i analogno je polutalasnom ispravljanju koja je oblast u elektrotehnici .

Ova aktivaciona funkcija se počela pojavljivati u kontekstu ekstrakcije vizuelnih karakteristika u hijerarhijskim neuronskim mrežama počevši od kraja 1960-ih godina. Kasnije se tvrdilo da ima jake biološke motive i matematička opravdanja. 2011. godine je otkriveno da omogućava bolju obuku dubljih mreža, u poređenju sa široko korišćenim aktivacionim funkcijama od pre 2011. godine, na primer, logistički sigmoid (koji je inspirisan teorijom verovatnoće ; pogledajte i logističku regresiju ) i njegov praktičniji ekvivalent, hiperbolička tangenta . Ispravljač je, od 2017. godine, najpopularnija aktivaciona funkcija za duboke neuronske mreže .

Ispravljene linearne jedinice uglavnom nalaze primenu u kompjuterskom vidu i prepoznavanju govora tako što koriste duboke neuronske mreže i računarsku neuronauku .

Prednosti

• Retka aktivacija: Na primer, u nasumično inicijalizovanoj mreži, samo oko 50% skrivenih jedinica je aktivirano (imaju ne-nultnu izlaznu vrednost).
• Bolje širenje gradijenta: Manje problema sa nestajajućim gradijentom u poređenju sa funkcijama sigmoidalne aktivacije koje se zasićuju u oba smera.
• Efikasno računanje: Samo poređenje, sabiranje i množenje.
• Invarijantna razmera: $\max(0,ax)=a\max(0,x){\text{ for }}a\geq 0$ .

Aktivacione funkcije za ispravljanje su korišćene za razdvajanje specifične ekscitacije i nespecifičnih inhibicija u neuralno apstraktnoj piramidi, koja je obučena na nadgledajući način da nauči nekoliko zadataka kompjuterske vizije. U 2011. godini, pokazalo se da upotreba ispravljača kao nelinearnosti omogućava obuku duboko nadgledanih neuronskih mreža bez potrebe za prethodnom obukom bez nadzora . Ispravljene linearne jedinice, u poređenju sa sigmoidnom funkcijom ili sličnim aktivacionim funkcijama, omogućavaju brži i efikasniji trening dubokih neuronskih arhitektura na velikim i složenim skupovima podataka.

Potencijalni problemi

• Nije diferencijabilan na nuli; međutim, može se razlikovati bilo gde drugde, a vrednost derivata na nuli može se proizvoljno izabrati da bude 0 ili 1.
• Nije nultno-centriran.
• Neograničenost
• Problem umiranja ReLU-a: ReLU (Rectified Linear Unit) neuroni ponekad mogu biti gurnuti u stanja u kojima postaju neaktivni za suštinski sve ulaze. U ovom stanju, nijedan od gradijenata ne teče unazad kroz neuron, tako da se neuron zaglavi u trajno neaktivnom stanju i „umire“. Ovo je oblik problema nestajanja gradijenta . U nekim slučajevima, veliki broj neurona u mreži može da se zaglavi u mrtvim stanjima, efektivno smanjujući kapacitet modela. Ovaj problem se obično javlja kada je stopa učenja postavljena previsoko. Može se ublažiti korišćenjem propuštajućih ReLU-ova, koji dodeljuju mali pozitivan nagib za h < 0; međutim, performanse su smanjene.

Varijante

Komadično-linearne varijante

Propuštajući ReLU

Propuštajući ReLU-ovi dozvoljavaju mali, pozitivan gradijent kada jedinica nije aktivna. Sledeća funkcija glasi:

$f(x)={\begin{cases}x&{\text{if }}x>0,\\0.01x&{\text{otherwise}}.\end{cases}}$

Parametrizovan ReLU

Parametrizovani ReLU-ovi (PReLUs) razvijaju ovu ideju dalje tako što pretvaraju koeficijent curenja u parametar koji se uči zajedno sa drugim parametrima neuronske mreže.

$f(x)={\begin{cases}x&{\text{if }}x>0,\\ax&{\text{otherwise}}.\end{cases}}$

Imajte na umu da su za a ≤ 1 ove dve funkcije ekvivalentne maksimalnoj vrednosti funkcije koja se nalazi ispod

$f(x)=\max(x,ax)$

i samim tim imaju vezu sa "maxout" mrežama.

Druge nelinearne varijante

Gausova linearna jedinica greške (GELU)

GELU predstavlja glatku aproksimaciju ispravljača. Ima nemonotonski „bump“ kada je h < 0, i služi kao podrazumevana aktivacija za modele kao što je BERT .

$f(x)=x\cdot \Phi (x)$ ,

gde Φ( h ) predstavlja kumulativna funkcija raspodele standardne normalne raspodele .

Ova aktivaciona funkcija je ilustrovana na slici koja se nalazi na početku ovog članka.

SiLU

SiLU (Sigmoidova Linearna Jedinica) ili funkcija swish je još jedna glatka aproksimacija koja je prvi put skovana u GELU radu.

$f(x)=x\cdot \operatorname {sigmoid} (x)$

gde $\operatorname {sigmoid} (x)$ je sigmoidna funkcija .

Softplus

Aproksimacija ispravljača glatkog i laganog oblika predstavlja navedenu analitičku funkciju koja je predstavljena funkcijom ispod:

$f(x)=\ln(1+e^{x}),$

i ta funkcija se naziva softplus ili SmoothReLU . Za velike negativne vrednosti $x$ je otprilike jednako $ln(1)$ dakle nešto iznad 0, dok za velike pozitivne vrednosti $x$ je otprilike jednako $ln(e^{x})$ tek malo iznad $x$ .

Parametar oštrine $k$ može biti uključeno:

$f(x)={\frac {\ln \left(1+e^{kx}\right)}{k}}$

Izvod softplus-a jednak je logističkoj funkciji . Počevši od parametarske verzije,

$f'(x)={\frac {e^{kx}}{1+e^{kx}}}={\frac {1}{1+e^{-kx}}}$

Logistička sigmoidna funkcija je približna aproksimacija izvoda ispravljača, odnosno Hevisajdove korak funkcije .

Multivarijabilna generalizacija softplus-a sa jednom promenljivom je [1]LogSumExp sa prvim argumentom koji je postavljen na nulu:

$\operatorname {LSE_{0}} ^{+}(x_{1},\dots ,x_{n}):=\operatorname {LSE} (0,x_{1},\dots ,x_{n})=\log \left(1+e^{x_{1}}+\cdots +e^{x_{n}}\right).$

Funkcija LogSumExp je

$\operatorname {LSE} (x_{1},\dots ,x_{n})=\log \left(e^{x_{1}}+\cdots +e^{x_{n}}\right),$

a njegov gradijent predstavlja [2]softmax ; softmax sa prvim argumentom koji je postavljen na nulu je multivarijabilna generalizacija logističke funkcije. I LogSumExp i softmax se koriste u mašinskom učenju.

ELU

Eksponencijalne linearne jedinice pokušavaju da učine srednje aktivacije budu bliže nuli, što ubrzava proces učenja. Pokazalo se da ELU mogu postići veću tačnost klasifikacije od ReLU-ova.

$f(x)={\begin{cases}x&{\text{if }}x>0,\\a\left(e^{x}-1\right)&{\text{otherwise}},\end{cases}}$

gde $a$ je hiperparametar koji treba podesiti, i $a\geq 0$ je ograničenje.

ELU se može posmatrati kao da je izglađena verzija pomerenog ReLU (SReLU), koji ima oblik funkcije $f(x)=\max(-a,x)$ s obzirom na isto tumačenje $a$ .

Mish

Mish funkcija se takođe može ikoristiti kao aproksimacija ispravljača glatkog oblika. Definiše se kao

$f(x)=x\tanh(\operatorname {softplus} (x))$

gde $\tanh(x)$ predstavlja hiperboličnu tangentu i $\operatorname {softplus(x)}$ je [3]softplus funkcija.

Miš je nemonoton i samostalan . Inspirisan je [4]Swish -om, koji je varijanta ReLU-a .

Vidi još

• [5]Softmax function
• Sigmoidna funkcija
• [6]Tobit model
• [7]Layer (deep learning)