Sigmoidna funkcija

Sigmoidna funkcija ili sigmoid je matematička funkcija koja ima karakterističnu krivu u obliku latiničnog slova „S” ili sigmoidnu krivu. Često se izraz sigmoidna funkcija odnosi na poseban oblik logističke funkcije prikazan na prvoj slici i definisan jednačinom $S(x)={\frac {1}{1+e^{-x}}}={\frac {e^{x}}{e^{x}+1}}$.

Logistička kriva

Graf funkcije greške

Među posebnim slučajevima sigmoidne funkcije su Gompercova kriva (koja se koristi u sistemima modelovanja koji saturiraju na velikim vrednostima $x$-a) i oudži kriva (koja se koristi u prelivu nekih brana). Sigmoidne funkcije imaju domen svih realnih brojeva, a povratna vrednost se monotono povećava najčešće između 0 i 1 ili, alternativno, od -1 do 1, u zavisnosti od konvencije.

Širok spektar sigmoidnih funkcija, među kojima su logističke i hiperbolične tangentne funkcije, koriste se kao aktivaciona funkcija veštačkih neurona. Sigmoidne krive su takođe uobičajene u statistici kao kumulativne funkcije raspodele (koje idu od 0 do 1), kao što su integrali logističke raspodele, normalne raspodele i studentske $t$ funkcije gustine verovatnoće.

Definicija

Sigmoidna funkcija je ograničena, diferencijabilna, realna funkcija koja je definisana za sve realne ulazne vrednosti i ima nenegativni izvod u svakoj tački.

Svojstva

U principu, sigmoidna funkcija je monotona i ima prvi izvod koji je u obliku zvona. Sigmoidna funkcija je ograničena pravom horizontalnih asimptota kada $x\rightarrow \pm \infty$.

Sigmoidna funkcija je konveksna za vrednosti manje od 0, a konkavna za vrednosti veće od 0. Zbog toga, sigmoidna funkcija i njene afine kompozicije mogu imati višestruke optimume.

Primeri

• Logistička funkcija

$f(x)={\frac {1}{1+e^{-x}}}$

• Hiperbolički tangens (pomerena i skalirana verzija logističke funkcije iznad)

$f(x)=\tanh x={\frac {e^{x}-e^{-x}}{e^{x}+e^{-x}}}$

• Arkus tangens

$f(x)=\arctan x$

• Gudermanova funkcija

$f(x)=\operatorname {gd} (x)=\int _{0}^{x}{\frac {1}{\cosh t}}dt=2\arctan(\tanh({\frac {x}{2}}))$

• Funkcija greške

$f(x)=\operatorname {erf} (x)={\frac {2}{\sqrt {\pi }}}\int _{0}^{x}e^{-t^{2}}dt$

• Generalizovana logistička funkcija

$f(x)=(1+e^{-x})^{-\alpha },\quad \alpha >0$

Integral bilo koje neprekidne, nenegativne funkcije u obliku čvoruge će biti sigmoidan, tako da su kumulativne funkcije raspodele za mnoge zajedničke raspodele verovatnoća sigmoidne. Jedan takav primer je funkcija greške, koja je povezana sa kumulativnom funkcijom raspodele normalne raspodele.

Primene

Mnogi prirodni procesi, kao što su složene sistemske krive učenja, pokazuju napredak od malih početaka koji ubrzavaju i približavaju se vrhuncu tokom vremena. Kada nedostaje određeni matematički model, često se koristi sigmoidna funkcija. Van Genučten-Guptin model se zasniva na obrnutoj „S” krivoj i primenjuje se na odgovor prinosa žitarica na salinitet tla.