Хесијан матрица

У математици, Хесијан матрица или Хесијан је квадратна матрица парцијалних извода другог реда скаларне функције или скаларног поља . Он описује локалну кривину функције многих променљивих. Хесијанову матрицу је у 19. веку развио немачки математичар Лудвиг Ото Хесе и касније је названа по њему. Хесе је првобитно користио термин „функционалне одреднице“.

Претпоставимо да је $f:\mathbb {R} ^{n}\to \mathbb {R}$ функција која као улаз узима вектор $\mathbf {x} \in \mathbb {R} ^{n}$ и излаз скалара $f(\mathbf {x} )\in \mathbb {R} .$ Ако су сви други парцијални изводи од $f$ постојећи и непрекидни су у домену функције, онда Хесијанова матрица $\mathbf {H}$ од $f$ је квадрат $n\times n$ матрица, обично дефинисана и уређена на следећи начин:

$$\mathbf {H} _{f}={\begin{bmatrix}{\dfrac {\partial ^{2}f}{\partial x_{1}^{2}}}&{\dfrac {\partial ^{2}f}{\partial x_{1}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{1}\,\partial x_{n}}}\\[2.2ex]{\dfrac {\partial ^{2}f}{\partial x_{2}\,\partial x_{1}}}&{\dfrac {\partial ^{2}f}{\partial x_{2}^{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{2}\,\partial x_{n}}}\\[2.2ex]\vdots &\vdots &\ddots &\vdots \\[2.2ex]{\dfrac {\partial ^{2}f}{\partial x_{n}\,\partial x_{1}}}&{\dfrac {\partial ^{2}f}{\partial x_{n}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{n}^{2}}}\end{bmatrix}},$$

или, навођењем једначине за коефицијенте користећи индексе i и j,

$$(\mathbf {H} _{f})_{i,j}={\frac {\partial ^{2}f}{\partial x_{i}\,\partial x_{j}}}.$$

Хесијанова матрица је симетрична матрица, пошто хипотеза о континуитету других извода подразумева да ред диференцијације није битан ( Шварцова теорема ).

Детерминанта Хесијанове матрице назива се Hessian determinant

Хесијанова матрица функције $f$ је Јакобијанска матрица градијента функције $f$ ; то је: $\mathbf {H} (f(\mathbf {x} ))=\mathbf {J} (\nabla f(\mathbf {x} )).$

Примена

Прегибне тачке

Ако $f$ је хомогени полином у три варијабле, једначина $f=0$ је имплицитна једначина равне пројективне криве . Прегибне тачке криве су управо оне несингуларне тачке у којима је Хесијанова детерминанта нула. Из Безуове теореме следи да кубична равна крива има највише $9$ превојне тачке, пошто је Хесова детерминанта полином степена $3.$

Тест другог извода

Хесијанова матрица конвексне функције је позитивна полуодређена . Пречишћавање ове особине нам омогућава да тестирамо да ли је критична тачка $x$ је локални максимум, локални минимум или тачка седла, како следи:

Ако је Хесијан позитивно-дефинисан у $x,$ онда $f$ достиже изоловани локални минимум у $x.$ Ако је Хесијан негативно-дефинитан у $x,$ онда $f$ достиже изоловани локални максимум у $x.$ Ако Хесијан има и позитивне и негативне сопствене вредности, онда је $x$ седло за $f.$ У супротном, тест је неуверљив. Ово имплицира да је на локалном минимуму Хесијан позитивно-полуодређен, а на локалном максимуму Хесијан је негативно-полуодређен.

За позитивно-семидефинитне и негативно-семидефините хесијане тест је неуверљив (критична тачка у којој је хесијан полуодређен, али није одређен може бити локални екстрем или тачка седла). Међутим, више се може рећи са становишта Морзеове теорије .

Тест другог извода за функције једне и две променљиве је једноставнији од општег случаја. У једној променљивој, Хесијан садржи тачно један други извод; ако је позитиван, онда $x$ је локални минимум, а ако је негативан, онда $x$ је локални максимум; ако је нула, онда је тест неуверљив. Када имамо две променљиве, детерминанта може бити корисна, јер је детерминанта производ својственим вредностима. Ако је позитивана, онда су сопствене вредности обе позитивне или обе негативне. Ако је негативан, онда две сопствене вредности имају различите предзнаке. Ако је нула, онда је тест другог извода неуверљив.

Еквивалентно, услови другог реда који су довољни за локални минимум или максимум могу се изразити у смислу редоследа главних (крајњи горњи леви) минора (детерминанте подматрица) Хесијана; ови услови су посебан случај оних који су дати у следећем одељку за ограничене хесијане за ограничену оптимизацију - случај у којем је број ограничења нула. Конкретно, довољан услов за минимум је да сви ови главни минори буду позитивни, док је довољан услов за максимум да се минори смењују у знаку, са $1\times 1$ минор је негативан.

Критичне тачке

Ако је градијент (вектор парцијалних извода) функције $f$ нула у неком тренутку $\mathbf {x} ,$ онда $f$ има критичну тачку (или стационарну тачку ) у $\mathbf {x} .$ Детерминанта Хесијана у $\mathbf {x}$ се у неким контекстима назива дискриминантом . Ако је ова детерминанта нула онда се $\mathbf {x}$ назива дегенеративна критична тачка од $f,$ или не-Морзеова критична тачка од $f.$ Иначе је недегенерисана и назива се Морзеова критична тачка од $f.$

Хесијанова матрица игра важну улогу у Морзеовој теорији и теорији катастрофе, јер њено језгро и сопствене вредности омогућавају класификацију критичних тачака.

Детерминанта Хесијанове матрице, када се процени у критичној тачки функције, једнака је Гаусовој кривини функције која се сматра многоструком. Сопствене вредности Хесијана у тој тачки су главне кривине функције, а сопствени вектори су главни правци кривине.

Употреба у оптимизацији

Хесијан матрице се користе у оптимизацијским проблемима великих размера у оквиру Њутнове мотеоде јер су коефицијент квадратног члана локалне Тејлорове експанзије функције. То је,

$$y=f(\mathbf {x} +\Delta \mathbf {x} )\approx f(\mathbf {x} )+\nabla f(\mathbf {x} )\Delta \mathbf {x} +{\frac {1}{2}}\,\Delta \mathbf {x} ^{\mathrm {T} }\mathbf {H} (\mathbf {x} )\,\Delta \mathbf {x}$$

где $\nabla f$ је градијент $\left({\frac {\partial f}{\partial x_{1}}},\ldots ,{\frac {\partial f}{\partial x_{n}}}\right).$ Израчунавање и чување пуне хесијанове матрице има комплексност $\Theta \left(n^{2}\right)$, што је неизводљиво за високодимензионалне функције као што су функције губитка, неуронске мреже, условна случајна поља и други статистички модели са великим бројем параметара. За такве ситуације развијени су скраћени Њутнов и квазиЊутнов алгоритам. Последња породица алгоритама користи апроксимације Хесијана; један од најпопуларнијих квази-Њутнових алгоритама је BFGS .

Такве апроксимације могу користити чињеницу да алгоритам оптимизације користи Хесијан само као линеарни оператор $\mathbf {H} (\mathbf {v} ),$ и настави тако што ће прво приметити да се Хесијан такође појављује у локалној експанзији градијента:

$$\nabla f(\mathbf {x} +\Delta \mathbf {x} )=\nabla f(\mathbf {x} )+\mathbf {H} (\mathbf {x} )\,\Delta \mathbf {x} +{\mathcal {O}}(\|\Delta \mathbf {x} \|^{2})$$

$\Delta \mathbf {x} =r\mathbf {v}$ за неки скалар $r,$ ово даје

$$\mathbf {H} (\mathbf {x} )\,\Delta \mathbf {x} =\mathbf {H} (\mathbf {x} )r\mathbf {v} =r\mathbf {H} (\mathbf {x} )\mathbf {v} =\nabla f(\mathbf {x} +r\mathbf {v} )-\nabla f(\mathbf {x} )+{\mathcal {O}}(r^{2}),$$

што је,

$$\mathbf {H} (\mathbf {x} )\mathbf {v} ={\frac {1}{r}}\left[\nabla f(\mathbf {x} +r\mathbf {v} )-\nabla f(\mathbf {x} )\right]+{\mathcal {O}}(r)$$

па ако је градијент већ израчунат, приближни Хесијан се може израчунати линеарним (у величини градијента) бројем скаларних операција. (Иако је једноставна за програмирање, ова шема апроксимације није нумерички стабилна јер $r$ мора бити мала да би се спречила грешка због ${\mathcal {O}}(r)$ комплексности, али његовим смањењем губи се прецизност. )

Друге примене

Хесијан матрица се обично користи за изражавање оператора за обраду слике и компјутерском виду (погледајте Лапласов Гаусов (LoG) детектор мрља, детерминанту Хесијану (DoH) детектора мрља и простор скале ). Хесијан матрица се такође може користити у анализи нормалног режима за израчунавање различитих молекуларних фреквенција у инфрацрвеној спектроскопији .

Генерализације

Ограничени Хесијан

Ограничени Хесијан се користи за тест другог извода у одређеним ограниченим проблемима оптимизације. С обзиром на функцију $f$ коју смо претходно разматрали, али додајући функцију ограничења $g$ такву да $g(\mathbf {x} )=c,$ ограничен Хесијен је Хесијен Лагранжове функције $\Lambda (\mathbf {x} ,\lambda )=f(\mathbf {x} )+\lambda [g(\mathbf {x} )-c]:$

$$\mathbf {H} (\Lambda )={\begin{bmatrix}{\dfrac {\partial ^{2}\Lambda }{\partial \lambda ^{2}}}&{\dfrac {\partial ^{2}\Lambda }{\partial \lambda \partial \mathbf {x} }}\\\left({\dfrac {\partial ^{2}\Lambda }{\partial \lambda \partial \mathbf {x} }}\right)^{\mathsf {T}}&{\dfrac {\partial ^{2}\Lambda }{\partial \mathbf {x} ^{2}}}\end{bmatrix}}={\begin{bmatrix}0&{\dfrac {\partial g}{\partial x_{1}}}&{\dfrac {\partial g}{\partial x_{2}}}&\cdots &{\dfrac {\partial g}{\partial x_{n}}}\\[2.2ex]{\dfrac {\partial g}{\partial x_{1}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{1}^{2}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{1}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}\Lambda }{\partial x_{1}\,\partial x_{n}}}\\[2.2ex]{\dfrac {\partial g}{\partial x_{2}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{2}\,\partial x_{1}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{2}^{2}}}&\cdots &{\dfrac {\partial ^{2}\Lambda }{\partial x_{2}\,\partial x_{n}}}\\[2.2ex]\vdots &\vdots &\vdots &\ddots &\vdots \\[2.2ex]{\dfrac {\partial g}{\partial x_{n}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{n}\,\partial x_{1}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{n}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}\Lambda }{\partial x_{n}^{2}}}\end{bmatrix}}={\begin{bmatrix}0&{\dfrac {\partial g}{\partial \mathbf {x} }}\\\left({\dfrac {\partial g}{\partial \mathbf {x} }}\right)^{\mathsf {T}}&{\dfrac {\partial ^{2}\Lambda }{\partial \mathbf {x} ^{2}}}\end{bmatrix}}$$

Ако постоје, рецимо, $m$ ограничења онда је нула у горњем левом углу $m\times m$ блок нула, док постоје $m$ граничних редова на врху и $m$ граничне колоне на левој страни.

Горенаведена правила која наводе да су екстреми окарактерисани (међу критичним тачкама са не-сингуларним хесијаном) позитивно-дефинитивним или негативно-дефинитивним хесијаном не могу се применити овде пошто ограничени хесијан не може бити ни негативно-дефинитан ни позитивно-дефинитан, као $\mathbf {z} ^{\mathsf {T}}\mathbf {H} \mathbf {z} =0$ ако $\mathbf {z}$ је било који вектор чији је једини унос који није први нула.

Тест другог извода се овде састоји од ограничења знака детерминанти одређеног скупа $n-m$ подматрице ограниченог Хесијана. Интуитивно, $m$ ограничења се могу сматрати свођењем проблема на једно са $n-m$ слободне променљиве. (На пример, максимизација функције $f\left(x_{1},x_{2},x_{3}\right)$ подложан ограничењу $x_{1}+x_{2}+x_{3}=1$ може се свести на максимизацију од $f\left(x_{1},x_{2},1-x_{1}-x_{2}\right)$ без ограничења. )

Конкретно, предзначни услови се намећу низу водећих главних минора (детерминанте горње-лево оправданих подматрица) ограниченог Хесијана, за које су први $2m$ водећи главни минори занемарени, најмањи минор који се састоји од скраћеног првог $2m+1$ редова и колона, следећи се састоји од скраћеног првог $2m+2$ редова и колона, и тако даље, при чему је последњи цео ограничен Хесијан; ако $2m+1$ је већи од $n+m,$ онда је најмањи водећи главни минор Хесијан. Тако постоје $n-m$ минори које треба узети у обзир, а свако оцењен у одређеном тренутку сматра се кандидатом за максимум или минимум . Довољан услов за локални максимум је да се ови минори смењују у знаку са најмањим који има предзнак $(-1)^{m+1}.$ Довољан услов за локални минимум је да сви ови минори имају предзнак $(-1)^{m}.$ (У неограниченом случају $m=0$ ови услови се поклапају са условима да неограничени Хесијан буде негативно одређен или позитивно одређен).

Векторске функције

Ако је $f$ уместо тога векторско поље $\mathbf {f} :\mathbb {R} ^{n}\to \mathbb {R} ^{m},$ онда је,

$$\mathbf {f} (\mathbf {x} )=\left(f_{1}(\mathbf {x} ),f_{2}(\mathbf {x} ),\ldots ,f_{m}(\mathbf {x} )\right),$$

збирка других парцијалних извода није $n\times n$ матрица, већ тензор трећег реда. Ово се може замислити као низ од $m$ Хесијан матрица, по једна за сваку компоненту $\mathbf {f}$ :

$$\mathbf {H} (\mathbf {f} )=\left(\mathbf {H} (f_{1}),\mathbf {H} (f_{2}),\ldots ,\mathbf {H} (f_{m})\right).$$

Овај тензор се дегенерише у уобичајену Хесијанову матрицу када $m=1.$

Генерализација на сложен случај

У контексту неколико комплексних променљивих, Хесијан се може генерализовати. Претпоставимо $f:\mathbb {C} ^{n}\to \mathbb {C} ,$ и писати $f\left(z_{1},\ldots ,z_{n}\right).$ Тада је генерализовани Хесијан ${\frac {\partial ^{2}f}{\partial z_{i}\partial {\overline {z_{j}}}}}.$ Ако $f$ задовољава n-димензионалне Коши–Риман услове, онда је комплексна Хесијанова матрица идентично нула.

Генерализације на Риманове многострукости

Нека $(M,g)$ буде Риманова многострукост и $\nabla$ његова веза Леви-Чивита . Нека $f:M\to \mathbb {R}$ буде глатка функција. Дефинишемо Хесијанов тензор са

$$\operatorname {Hess} (f)\in \Gamma \left(T^{*}M\otimes T^{*}M\right)\quad {\text{ by }}\quad \operatorname {Hess} (f):=\nabla \nabla f=\nabla df,$$

при чему се овим користи чињеница да је први коваријантни извод функције исти као и њен обични извод. Избор локалних координата $\left\{x^{i}\right\}$ даје локални израз за Хесијан као

$$\operatorname {Hess} (f)=\nabla _{i}\,\partial _{j}f\ dx^{i}\!\otimes \!dx^{j}=\left({\frac {\partial ^{2}f}{\partial x^{i}\partial x^{j}}}-\Gamma _{ij}^{k}{\frac {\partial f}{\partial x^{k}}}\right)dx^{i}\otimes dx^{j}$$

где $\Gamma _{ij}^{k}$ су Кристофелови симболи везе. Други еквивалентни облици за Хесијан су дати по

$$\operatorname {Hess} (f)(X,Y)=\langle \nabla _{X}\operatorname {grad} f,Y\rangle \quad {\text{ and }}\quad \operatorname {Hess} (f)(X,Y)=X(Yf)-df(\nabla _{X}Y).$$

Види још

• Детерминанта Хесијанове матрице је коваријанта; види Инваријанта бинарног облика
• Идентитет поларизације, користан за брза израчунавања која укључују Хесијан.
• Јакобинјанова матрица

Литература

• Lewis, David W. (1991). Matrix Theory. Singapore: World Scientific. ISBN 978-981-02-0689-5. 
• Magnus, Jan R.; Neudecker, Heinz (1999). „The Second Differential”. Matrix Differential Calculus : With Applications in Statistics and Econometrics (Revised изд.). New York: Wiley. стр. 99–115. ISBN 0-471-98633-X. 

Спољашње везе

• Hazewinkel, Michiel, ур. (2001) [1994], „Hessian of a function”, Encyclopedia of Mathematics, Springer Science+Business Media B.V. / Kluwer Academic Publishers, ISBN 978-1-55608-010-4 
• Weisstein, Eric W. „Hessian”. MathWorld.