Hesijan matrica

U matematici, Hesijan matrica ili Hesijan je kvadratna matrica parcijalnih izvoda drugog reda skalarne funkcije ili skalarnog polja . On opisuje lokalnu krivinu funkcije mnogih promenljivih. Hesijanovu matricu je u 19. veku razvio nemački matematičar Ludvig Oto Hese i kasnije je nazvana po njemu. Hese je prvobitno koristio termin „funkcionalne odrednice“.

Pretpostavimo da je $f:\mathbb {R} ^{n}\to \mathbb {R}$ funkcija koja kao ulaz uzima vektor $\mathbf {x} \in \mathbb {R} ^{n}$ i izlaz skalara $f(\mathbf {x} )\in \mathbb {R} .$ Ako su svi drugi parcijalni izvodi od $f$ postojeći i neprekidni su u domenu funkcije, onda Hesijanova matrica $\mathbf {H}$ od $f$ je kvadrat $n\times n$ matrica, obično definisana i uređena na sledeći način:

$$\mathbf {H} _{f}={\begin{bmatrix}{\dfrac {\partial ^{2}f}{\partial x_{1}^{2}}}&{\dfrac {\partial ^{2}f}{\partial x_{1}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{1}\,\partial x_{n}}}\\[2.2ex]{\dfrac {\partial ^{2}f}{\partial x_{2}\,\partial x_{1}}}&{\dfrac {\partial ^{2}f}{\partial x_{2}^{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{2}\,\partial x_{n}}}\\[2.2ex]\vdots &\vdots &\ddots &\vdots \\[2.2ex]{\dfrac {\partial ^{2}f}{\partial x_{n}\,\partial x_{1}}}&{\dfrac {\partial ^{2}f}{\partial x_{n}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{n}^{2}}}\end{bmatrix}},$$

ili, navođenjem jednačine za koeficijente koristeći indekse i i j,

$$(\mathbf {H} _{f})_{i,j}={\frac {\partial ^{2}f}{\partial x_{i}\,\partial x_{j}}}.$$

Hesijanova matrica je simetrična matrica, pošto hipoteza o kontinuitetu drugih izvoda podrazumeva da red diferencijacije nije bitan ( Švarcova teorema ).

Determinanta Hesijanove matrice naziva se Hessian determinant

Hesijanova matrica funkcije $f$ je Jakobijanska matrica gradijenta funkcije $f$ ; to je: $\mathbf {H} (f(\mathbf {x} ))=\mathbf {J} (\nabla f(\mathbf {x} )).$

Primena

Pregibne tačke

Ako $f$ je homogeni polinom u tri varijable, jednačina $f=0$ je implicitna jednačina ravne projektivne krive . Pregibne tačke krive su upravo one nesingularne tačke u kojima je Hesijanova determinanta nula. Iz Bezuove teoreme sledi da kubična ravna kriva ima najviše $9$ prevojne tačke, pošto je Hesova determinanta polinom stepena $3.$

Test drugog izvoda

Hesijanova matrica konveksne funkcije je pozitivna poluodređena . Prečišćavanje ove osobine nam omogućava da testiramo da li je kritična tačka $x$ je lokalni maksimum, lokalni minimum ili tačka sedla, kako sledi:

Ako je Hesijan pozitivno-definisan u $x,$ onda $f$ dostiže izolovani lokalni minimum u $x.$ Ako je Hesijan negativno-definitan u $x,$ onda $f$ dostiže izolovani lokalni maksimum u $x.$ Ako Hesijan ima i pozitivne i negativne sopstvene vrednosti, onda je $x$ sedlo za $f.$ U suprotnom, test je neuverljiv. Ovo implicira da je na lokalnom minimumu Hesijan pozitivno-poluodređen, a na lokalnom maksimumu Hesijan je negativno-poluodređen.

Za pozitivno-semidefinitne i negativno-semidefinite hesijane test je neuverljiv (kritična tačka u kojoj je hesijan poluodređen, ali nije određen može biti lokalni ekstrem ili tačka sedla). Međutim, više se može reći sa stanovišta Morzeove teorije .

Test drugog izvoda za funkcije jedne i dve promenljive je jednostavniji od opšteg slučaja. U jednoj promenljivoj, Hesijan sadrži tačno jedan drugi izvod; ako je pozitivan, onda $x$ je lokalni minimum, a ako je negativan, onda $x$ je lokalni maksimum; ako je nula, onda je test neuverljiv. Kada imamo dve promenljive, determinanta može biti korisna, jer je determinanta proizvod svojstvenim vrednostima. Ako je pozitivana, onda su sopstvene vrednosti obe pozitivne ili obe negativne. Ako je negativan, onda dve sopstvene vrednosti imaju različite predznake. Ako je nula, onda je test drugog izvoda neuverljiv.

Ekvivalentno, uslovi drugog reda koji su dovoljni za lokalni minimum ili maksimum mogu se izraziti u smislu redosleda glavnih (krajnji gornji levi) minora (determinante podmatrica) Hesijana; ovi uslovi su poseban slučaj onih koji su dati u sledećem odeljku za ograničene hesijane za ograničenu optimizaciju - slučaj u kojem je broj ograničenja nula. Konkretno, dovoljan uslov za minimum je da svi ovi glavni minori budu pozitivni, dok je dovoljan uslov za maksimum da se minori smenjuju u znaku, sa $1\times 1$ minor je negativan.

Kritične tačke

Ako je gradijent (vektor parcijalnih izvoda) funkcije $f$ nula u nekom trenutku $\mathbf {x} ,$ onda $f$ ima kritičnu tačku (ili stacionarnu tačku ) u $\mathbf {x} .$ Determinanta Hesijana u $\mathbf {x}$ se u nekim kontekstima naziva diskriminantom . Ako je ova determinanta nula onda se $\mathbf {x}$ naziva degenerativna kritična tačka od $f,$ ili ne-Morzeova kritična tačka od $f.$ Inače je nedegenerisana i naziva se Morzeova kritična tačka od $f.$

Hesijanova matrica igra važnu ulogu u Morzeovoj teoriji i teoriji katastrofe, jer njeno jezgro i sopstvene vrednosti omogućavaju klasifikaciju kritičnih tačaka.

Determinanta Hesijanove matrice, kada se proceni u kritičnoj tački funkcije, jednaka je Gausovoj krivini funkcije koja se smatra mnogostrukom. Sopstvene vrednosti Hesijana u toj tački su glavne krivine funkcije, a sopstveni vektori su glavni pravci krivine.

Upotreba u optimizaciji

Hesijan matrice se koriste u optimizacijskim problemima velikih razmera u okviru Njutnove moteode jer su koeficijent kvadratnog člana lokalne Tejlorove ekspanzije funkcije. To je,

$$y=f(\mathbf {x} +\Delta \mathbf {x} )\approx f(\mathbf {x} )+\nabla f(\mathbf {x} )\Delta \mathbf {x} +{\frac {1}{2}}\,\Delta \mathbf {x} ^{\mathrm {T} }\mathbf {H} (\mathbf {x} )\,\Delta \mathbf {x}$$

gde $\nabla f$ je gradijent $\left({\frac {\partial f}{\partial x_{1}}},\ldots ,{\frac {\partial f}{\partial x_{n}}}\right).$ Izračunavanje i čuvanje pune hesijanove matrice ima kompleksnost $\Theta \left(n^{2}\right)$, što je neizvodljivo za visokodimenzionalne funkcije kao što su funkcije gubitka, neuronske mreže, uslovna slučajna polja i drugi statistički modeli sa velikim brojem parametara. Za takve situacije razvijeni su skraćeni Njutnov i kvaziNjutnov algoritam. Poslednja porodica algoritama koristi aproksimacije Hesijana; jedan od najpopularnijih kvazi-Njutnovih algoritama je BFGS .

Takve aproksimacije mogu koristiti činjenicu da algoritam optimizacije koristi Hesijan samo kao linearni operator $\mathbf {H} (\mathbf {v} ),$ i nastavi tako što će prvo primetiti da se Hesijan takođe pojavljuje u lokalnoj ekspanziji gradijenta:

$$\nabla f(\mathbf {x} +\Delta \mathbf {x} )=\nabla f(\mathbf {x} )+\mathbf {H} (\mathbf {x} )\,\Delta \mathbf {x} +{\mathcal {O}}(\|\Delta \mathbf {x} \|^{2})$$

$\Delta \mathbf {x} =r\mathbf {v}$ za neki skalar $r,$ ovo daje

$$\mathbf {H} (\mathbf {x} )\,\Delta \mathbf {x} =\mathbf {H} (\mathbf {x} )r\mathbf {v} =r\mathbf {H} (\mathbf {x} )\mathbf {v} =\nabla f(\mathbf {x} +r\mathbf {v} )-\nabla f(\mathbf {x} )+{\mathcal {O}}(r^{2}),$$

što je,

$$\mathbf {H} (\mathbf {x} )\mathbf {v} ={\frac {1}{r}}\left[\nabla f(\mathbf {x} +r\mathbf {v} )-\nabla f(\mathbf {x} )\right]+{\mathcal {O}}(r)$$

pa ako je gradijent već izračunat, približni Hesijan se može izračunati linearnim (u veličini gradijenta) brojem skalarnih operacija. (Iako je jednostavna za programiranje, ova šema aproksimacije nije numerički stabilna jer $r$ mora biti mala da bi se sprečila greška zbog ${\mathcal {O}}(r)$ kompleksnosti, ali njegovim smanjenjem gubi se preciznost. )

Druge primene

Hesijan matrica se obično koristi za izražavanje operatora za obradu slike i kompjuterskom vidu (pogledajte Laplasov Gausov (LoG) detektor mrlja, determinantu Hesijanu (DoH) detektora mrlja i prostor skale ). Hesijan matrica se takođe može koristiti u analizi normalnog režima za izračunavanje različitih molekularnih frekvencija u infracrvenoj spektroskopiji .

Generalizacije

Ograničeni Hesijan

Ograničeni Hesijan se koristi za test drugog izvoda u određenim ograničenim problemima optimizacije. S obzirom na funkciju $f$ koju smo prethodno razmatrali, ali dodajući funkciju ograničenja $g$ takvu da $g(\mathbf {x} )=c,$ ograničen Hesijen je Hesijen Lagranžove funkcije $\Lambda (\mathbf {x} ,\lambda )=f(\mathbf {x} )+\lambda [g(\mathbf {x} )-c]:$

$$\mathbf {H} (\Lambda )={\begin{bmatrix}{\dfrac {\partial ^{2}\Lambda }{\partial \lambda ^{2}}}&{\dfrac {\partial ^{2}\Lambda }{\partial \lambda \partial \mathbf {x} }}\\\left({\dfrac {\partial ^{2}\Lambda }{\partial \lambda \partial \mathbf {x} }}\right)^{\mathsf {T}}&{\dfrac {\partial ^{2}\Lambda }{\partial \mathbf {x} ^{2}}}\end{bmatrix}}={\begin{bmatrix}0&{\dfrac {\partial g}{\partial x_{1}}}&{\dfrac {\partial g}{\partial x_{2}}}&\cdots &{\dfrac {\partial g}{\partial x_{n}}}\\[2.2ex]{\dfrac {\partial g}{\partial x_{1}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{1}^{2}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{1}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}\Lambda }{\partial x_{1}\,\partial x_{n}}}\\[2.2ex]{\dfrac {\partial g}{\partial x_{2}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{2}\,\partial x_{1}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{2}^{2}}}&\cdots &{\dfrac {\partial ^{2}\Lambda }{\partial x_{2}\,\partial x_{n}}}\\[2.2ex]\vdots &\vdots &\vdots &\ddots &\vdots \\[2.2ex]{\dfrac {\partial g}{\partial x_{n}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{n}\,\partial x_{1}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{n}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}\Lambda }{\partial x_{n}^{2}}}\end{bmatrix}}={\begin{bmatrix}0&{\dfrac {\partial g}{\partial \mathbf {x} }}\\\left({\dfrac {\partial g}{\partial \mathbf {x} }}\right)^{\mathsf {T}}&{\dfrac {\partial ^{2}\Lambda }{\partial \mathbf {x} ^{2}}}\end{bmatrix}}$$

Ako postoje, recimo, $m$ ograničenja onda je nula u gornjem levom uglu $m\times m$ blok nula, dok postoje $m$ graničnih redova na vrhu i $m$ granične kolone na levoj strani.

Gorenavedena pravila koja navode da su ekstremi okarakterisani (među kritičnim tačkama sa ne-singularnim hesijanom) pozitivno-definitivnim ili negativno-definitivnim hesijanom ne mogu se primeniti ovde pošto ograničeni hesijan ne može biti ni negativno-definitan ni pozitivno-definitan, kao $\mathbf {z} ^{\mathsf {T}}\mathbf {H} \mathbf {z} =0$ ako $\mathbf {z}$ je bilo koji vektor čiji je jedini unos koji nije prvi nula.

Test drugog izvoda se ovde sastoji od ograničenja znaka determinanti određenog skupa $n-m$ podmatrice ograničenog Hesijana. Intuitivno, $m$ ograničenja se mogu smatrati svođenjem problema na jedno sa $n-m$ slobodne promenljive. (Na primer, maksimizacija funkcije $f\left(x_{1},x_{2},x_{3}\right)$ podložan ograničenju $x_{1}+x_{2}+x_{3}=1$ može se svesti na maksimizaciju od $f\left(x_{1},x_{2},1-x_{1}-x_{2}\right)$ bez ograničenja. )

Konkretno, predznačni uslovi se nameću nizu vodećih glavnih minora (determinante gornje-levo opravdanih podmatrica) ograničenog Hesijana, za koje su prvi $2m$ vodeći glavni minori zanemareni, najmanji minor koji se sastoji od skraćenog prvog $2m+1$ redova i kolona, sledeći se sastoji od skraćenog prvog $2m+2$ redova i kolona, i tako dalje, pri čemu je poslednji ceo ograničen Hesijan; ako $2m+1$ je veći od $n+m,$ onda je najmanji vodeći glavni minor Hesijan. Tako postoje $n-m$ minori koje treba uzeti u obzir, a svako ocenjen u određenom trenutku smatra se kandidatom za maksimum ili minimum . Dovoljan uslov za lokalni maksimum je da se ovi minori smenjuju u znaku sa najmanjim koji ima predznak $(-1)^{m+1}.$ Dovoljan uslov za lokalni minimum je da svi ovi minori imaju predznak $(-1)^{m}.$ (U neograničenom slučaju $m=0$ ovi uslovi se poklapaju sa uslovima da neograničeni Hesijan bude negativno određen ili pozitivno određen).

Vektorske funkcije

Ako je $f$ umesto toga vektorsko polje $\mathbf {f} :\mathbb {R} ^{n}\to \mathbb {R} ^{m},$ onda je,

$$\mathbf {f} (\mathbf {x} )=\left(f_{1}(\mathbf {x} ),f_{2}(\mathbf {x} ),\ldots ,f_{m}(\mathbf {x} )\right),$$

zbirka drugih parcijalnih izvoda nije $n\times n$ matrica, već tenzor trećeg reda. Ovo se može zamisliti kao niz od $m$ Hesijan matrica, po jedna za svaku komponentu $\mathbf {f}$ :

$$\mathbf {H} (\mathbf {f} )=\left(\mathbf {H} (f_{1}),\mathbf {H} (f_{2}),\ldots ,\mathbf {H} (f_{m})\right).$$

Ovaj tenzor se degeneriše u uobičajenu Hesijanovu matricu kada $m=1.$

Generalizacija na složen slučaj

U kontekstu nekoliko kompleksnih promenljivih, Hesijan se može generalizovati. Pretpostavimo $f:\mathbb {C} ^{n}\to \mathbb {C} ,$ i pisati $f\left(z_{1},\ldots ,z_{n}\right).$ Tada je generalizovani Hesijan ${\frac {\partial ^{2}f}{\partial z_{i}\partial {\overline {z_{j}}}}}.$ Ako $f$ zadovoljava n-dimenzionalne Koši–Riman uslove, onda je kompleksna Hesijanova matrica identično nula.

Generalizacije na Rimanove mnogostrukosti

Neka $(M,g)$ bude Rimanova mnogostrukost i $\nabla$ njegova veza Levi-Čivita . Neka $f:M\to \mathbb {R}$ bude glatka funkcija. Definišemo Hesijanov tenzor sa

$$\operatorname {Hess} (f)\in \Gamma \left(T^{*}M\otimes T^{*}M\right)\quad {\text{ by }}\quad \operatorname {Hess} (f):=\nabla \nabla f=\nabla df,$$

pri čemu se ovim koristi činjenica da je prvi kovarijantni izvod funkcije isti kao i njen obični izvod. Izbor lokalnih koordinata $\left\{x^{i}\right\}$ daje lokalni izraz za Hesijan kao

$$\operatorname {Hess} (f)=\nabla _{i}\,\partial _{j}f\ dx^{i}\!\otimes \!dx^{j}=\left({\frac {\partial ^{2}f}{\partial x^{i}\partial x^{j}}}-\Gamma _{ij}^{k}{\frac {\partial f}{\partial x^{k}}}\right)dx^{i}\otimes dx^{j}$$

gde $\Gamma _{ij}^{k}$ su Kristofelovi simboli veze. Drugi ekvivalentni oblici za Hesijan su dati po

$$\operatorname {Hess} (f)(X,Y)=\langle \nabla _{X}\operatorname {grad} f,Y\rangle \quad {\text{ and }}\quad \operatorname {Hess} (f)(X,Y)=X(Yf)-df(\nabla _{X}Y).$$

Vidi još

• Determinanta Hesijanove matrice je kovarijanta; vidi Invarijanta binarnog oblika
• Identitet polarizacije, koristan za brza izračunavanja koja uključuju Hesijan.
• Jakobinjanova matrica

Literatura

• Lewis, David W. (1991). Matrix Theory. Singapore: World Scientific. ISBN 978-981-02-0689-5. 
• Magnus, Jan R.; Neudecker, Heinz (1999). „The Second Differential”. Matrix Differential Calculus : With Applications in Statistics and Econometrics (Revised izd.). New York: Wiley. str. 99–115. ISBN 0-471-98633-X. 

Spoljašnje veze

• Hazewinkel, Michiel, ur. (2001) [1994], „Hessian of a function”, Encyclopedia of Mathematics, Springer Science+Business Media B.V. / Kluwer Academic Publishers, ISBN 978-1-55608-010-4 
• Weisstein, Eric W. „Hessian”. MathWorld.