Multivarijantna normalna raspodela

U teoriji verovatnoće i statistici, multivarijantna normalna raspodela, multivarijantna Gausova raspodela, ili zajednička normalna raspodela je generalizacija jednodimenzionalne (univarijantne) normalne distribucije na više dimenzija. Jedna definicija je da se randomni vektor smatra k-varijantno normalno distribuiranim ako svaka linearna kombinacija njegovih k komponenata ima univarijantnu normalnu distribuciju. Njen značaj proističe uglavnom iz multivarijantne centralne granične teoreme. Multivarijantna normalna distribucija često se koristi za opisivanje, barem približno, bilo kojeg skupa (mogućih) korelisanih realno-vrednosnih radomnih promenljivih, od kojih se svaka grupiše oko srednje vrednosti.

Multivarijantna normalna raspodela

Funkcija gustine verovatnoće Mnogštvo uzoraka sa multivarijantnom normalnom distribucijom sa ${\boldsymbol {\mu }}=\left[{\begin{smallmatrix}0\\0\end{smallmatrix}}\right]$ i ${\boldsymbol {\Sigma }}=\left[{\begin{smallmatrix}1&3/5\\3/5&2\end{smallmatrix}}\right]$, prikazani zajedno sa 3-sigma elipse, dve marginalne distribucije, i dva 1-d histograma.
Notacija	${\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }})$
Parametri	μ ∈ Rk — lokacija Σ ∈ Rk × k — kovarijansa (pozitivna poludefinitivna matrica)
Nositelj	x ∈ μ + span(Σ) ⊆ Rk
PDF	$(2\pi )^{-{\frac {k}{2}}}\det({\boldsymbol {\Sigma }})^{-{\frac {1}{2}}}\,e^{-{\frac {1}{2}}(\mathbf {x} -{\boldsymbol {\mu }})^{\!{\mathsf {T}}}{\boldsymbol {\Sigma }}^{-1}(\mathbf {x} -{\boldsymbol {\mu }})},$ postoji samo kad je Σ positivna-definitivna
Prosek	μ
Modus	μ
Varijansa	Σ
Entropija	${\frac {1}{2}}\ln \det \left(2\pi \mathrm {e} {\boldsymbol {\Sigma }}\right)$
MGF	$\exp \!{\Big (}{\boldsymbol {\mu }}^{\!{\mathsf {T}}}\mathbf {t} +{\tfrac {1}{2}}\mathbf {t} ^{\!{\mathsf {T}}}{\boldsymbol {\Sigma }}\mathbf {t} {\Big )}$
CF	$\exp \!{\Big (}i{\boldsymbol {\mu }}^{\!{\mathsf {T}}}\mathbf {t} -{\tfrac {1}{2}}\mathbf {t} ^{\!{\mathsf {T}}}{\boldsymbol {\Sigma }}\mathbf {t} {\Big )}$
Kulbek-Lajblerova divergencija	pogledajte ispod

Notacija i parametrizacija

Multivarijantna normalna distribucija k-dimenzionalnog randomnog vektora $\mathbf {X} =(X_{1},\ldots ,X_{k})$ može se zapisati na sledeći način:

$\mathbf {X} \ \sim \ {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),$

ili da se naglasi da je X k-dimenziono,

$\mathbf {X} \ \sim \ {\mathcal {N}}_{k}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),$

sa k-dimenzionim srednjim vektorom

${\boldsymbol {\mu }}=\operatorname {E} [\mathbf {X} ]=(\operatorname {E} [X_{1}],\operatorname {E} [X_{2}],\ldots ,\operatorname {E} [X_{k}]),$

i $k\times k$ kovarijantnom matricom

$\Sigma _{i,j}:=\operatorname {E} [(X_{i}-\mu _{i})(X_{j}-\mu _{j})]=\operatorname {Cov} [X_{i},X_{j}]$

takvom da $1\leq i,j\leq k.$ Inverzna matrica kovarijantne matrice se zove matrica preciznosti i označava se sa ${\boldsymbol {Q}}={\boldsymbol {\Sigma }}^{-1}$.

Definicije

Standardni normalni randomni vektor

Realni randomni vektor $\mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }$ se zove standardni normalni randomni vektor ako su sve njegove komponente $X_{n}$ nezavisne i svaka je normalno distribuirana randomna promenljiva sa nultom srednjom vrednosti i jediničnom varijansom, i.e. ako $X_{n}\sim \ {\mathcal {N}}(0,1)$ za svako $n$.

Centrirani normalni randomni vektor

Realni randomni vektor $\mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }$ se zove centrirani normalni randomni vektor ako postoji deterministička $k\times \ell$ matrica ${\boldsymbol {A}}$ takva da ${\boldsymbol {A}}\mathbf {Z}$ ima istu distribuciju kao $\mathbf {X}$ gde je $\mathbf {Z}$ standardni normalni randomni vektor sa $\ell$ komponenata.

Normalni randomni vektor

Realni randomni vektor $\mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }$ se zove normalni randomni vektor ako postoji randomni $\ell$-vektor $\mathbf {Z}$, koji je standardni normalni randomni vektor, $k$-vektor $\mathbf {\mu }$, i $k\times \ell$ matrica ${\boldsymbol {A}}$, takva da je $\mathbf {X} ={\boldsymbol {A}}\mathbf {Z} +\mathbf {\mu }$.

Formalno:

$\mathbf {X} \ \sim \ {\mathcal {N}}(\mathbf {\mu } ,{\boldsymbol {\Sigma }})\quad \iff \quad {\text{postoji }}\mathbf {\mu } \in \mathbb {R} ^{k},{\boldsymbol {A}}\in \mathbb {R} ^{k\times \ell }{\text{ takvo da je }}\mathbf {X} ={\boldsymbol {A}}\mathbf {Z} +\mathbf {\mu } {\text{ za }}Z_{n}\sim \ {\mathcal {N}}(0,1),{\text{i.i.d.}}$

Kovarijantna matrica je ${\boldsymbol {\Sigma }}={\boldsymbol {A}}{\boldsymbol {A}}^{\mathrm {T} }$.

U degenerativnom slučaju gde je kovarijantna matrica singularna, korespondirajuća distribucija nema gustinu. Ovaj slučaj se često pojavljuje u statistici; na primer, u raspodeli vektora reziduala u regresiji običnih najmanjih kvadrata. Takođe treba imati na umu da $X_{i}$ uglavnom nisu nezavisni; oni se mogu videti kao rezultat primene matrice ${\boldsymbol {A}}$ na kolekciju nezavisnih Gausovih promenljivih $\mathbf {Z}$.

Ekvivalentne definicije

Sledeće definicije su ekvivalentne sa gornjom definicijom. Randomni vektor $\mathbf {X} =(X_{1},\ldots ,X_{k})^{T}$ ima multivarijatnu normalnu distribuciju ako zadovoljava jedan od sledećih uslova.

• Svaka linearna kombinacija $Y=a_{1}X_{1}+\cdots +a_{k}X_{k}$ njegovih komponenti je normalno distribuirana. Drugim rečima, za svaki konstantni vektor $\mathbf {a} \in \mathbb {R} ^{k}$, randomna promenljiva $Y=\mathbf {a} ^{\mathrm {T} }\mathbf {X}$ ima univarijatnu normalnu distribuciju, gde je univarijatna normalna distribucija sa nultom varijansom tačka mase na svojoj srednjoj vrednosti.
• Postoji k-vektor $\mathbf {\mu }$ i simetrična, pozitivna poludefinitivna $k\times k$ matrica ${\boldsymbol {\Sigma }}$, takva da karakteristična funkcija od $\mathbf {X}$ je

$\varphi _{\mathbf {X} }(\mathbf {u} )=\exp {\Big (}i\mathbf {u} ^{T}{\boldsymbol {\mu }}-{\tfrac {1}{2}}\mathbf {u} ^{T}{\boldsymbol {\Sigma }}\mathbf {u} {\Big )}.$

Sferina normalna distribucija može da bude karakterisana kao jedinstvena distribucija, pri čemu su komponente nezavisne u svakom ortogonalnom koordinatnom sistemu.

Literatura

• Rencher, A.C. (1995). Methods of Multivariate Analysis. New York: Wiley. 
• Tong, Y. L. (1990). The multivariate normal distribution. Springer Series in Statistics. New York: Springer-Verlag. ISBN 978-1-4613-9657-4. doi:10.1007/978-1-4613-9655-0. 
• Dawid, A.P. (1981). „Some matrix-variate distribution theory: Notational considerations and a Bayesian application”. Biometrika. 68 (1): 265–274. JSTOR 2335827. MR 614963. doi:10.1093/biomet/68.1.265. 
• Dutilleul, P (1999). „The MLE algorithm for the matrix normal distribution”. Journal of Statistical Computation and Simulation. 64 (2): 105–123. doi:10.1080/00949659908811970. 
• Arnold, S.F. (1981), The theory of linear models and multivariate analysis, New York: John Wiley & Sons, ISBN 0471050652 
• Goodman, N.R. (1963). „Statistical analysis based on a certain multivariate complex Gaussian distribution (an introduction)”. The Annals of Mathematical Statistics. 34 (1): 152—177. JSTOR 2991290. doi:10.1214/aoms/1177704250 . 
• Picinbono, Bernard (1996). „Second-order complex random vectors and normal distributions”. IEEE Transactions on Signal Processing. 44 (10): 2637—2640. doi:10.1109/78.539051. 
• Wollschlaeger, Daniel. "ShotGroups." Hoyt. RDocumentation, n.d. Web. https://www.rdocumentation.org/packages/shotGroups/versions/0.7.1/topics/Hoyt.
• Gallager, Robert G (2008). "Circularly-Symmetric Gaussian Random Vectors." (n.d.): n. pag. Pre-print. Web. 9 http://www.rle.mit.edu/rgallager/documents/CircSymGauss.pdf.
• Mahalanobis, Prasanta Chandra (1936). „On the generalised distance in statistics” (PDF). Proceedings of the National Institute of Sciences of India. 2 (1): 49—55. Приступљено 2016-09-27. 
• De Maesschalck, R.; Jouan-Rimbaud, D.; Massart, D. L. (2000). „The Mahalanobis distance”. Chemometrics and Intelligent Laboratory Systems. 50 (1): 1—18. doi:10.1016/s0169-7439(99)00047-7. 
• Kim, M. G. (2000). „Multivariate outliers and decompositions of Mahalanobis distance”. Communications in Statistics – Theory and Methods. 29 (7): 1511—1526. S2CID 218567835. doi:10.1080/03610920008832559. 
• Kessy, Agnan; Lewin, Alex; Strimmer, Korbinian (2018-10-02). „Optimal Whitening and Decorrelation”. The American Statistician. 72 (4): 309—314. ISSN 0003-1305. S2CID 55075085. doi:10.1080/00031305.2016.1277159. 
• Hubert, Mia; Debruyne, Michiel (2010). „Minimum covariance determinant”. WIREs Computational Statistics (на језику: енглески). 2 (1): 36—43. ISSN 1939-5108. S2CID 123086172. doi:10.1002/wics.61. 
• Van Aelst, Stefan; Rousseeuw, Peter (2009). „Minimum volume ellipsoid”. Wiley Interdisciplinary Reviews: Computational Statistics (на језику: енглески). 1 (1): 71—82. ISSN 1939-5108. S2CID 122106661. doi:10.1002/wics.19. 
• Etherington, Thomas R. (2021-05-11). „Mahalanobis distances for ecological niche modelling and outlier detection: implications of sample size, error, and bias for selecting and parameterising a multivariate location and scatter method”. PeerJ (на језику: енглески). 9: e11436. ISSN 2167-8359. doi:10.7717/peerj.11436. 
• McLachlan, Geoffrey (4. 8. 2004). Discriminant Analysis and Statistical Pattern Recognition. John Wiley & Sons. стр. 13—. ISBN 978-0-471-69115-0. CS1 одржавање: Формат датума (веза)
• Etherington, Thomas R. (2019-04-02). „Mahalanobis distances and ecological niche modelling: correcting a chi-squared probability error”. PeerJ (на језику: енглески). 7: e6678. ISSN 2167-8359. PMC 6450376 . PMID 30972255. doi:10.7717/peerj.6678. 
• Farber, Oren; Kadmon, Ronen (2003). „Assessment of alternative approaches for bioclimatic modeling with special emphasis on the Mahalanobis distance”. Ecological Modelling (на језику: енглески). 160 (1–2): 115—130. doi:10.1016/S0304-3800(02)00327-7 . 
• Kritzman, M.; Li, Y. (2019-04-02). „Skulls, Financial Turbulence, and Risk Management”. Financial Analysts Journal (на језику: енглески). 66 (5): 30—41. S2CID 53478656. doi:10.2469/faj.v66.n5.3. 
• „Portfolio Optimizer”. portfoliooptimizer.io/. Приступљено 2022-04-23. 
• Kotz, Samuel; Nadarajah, Saralees (2004). Multivariate t Distributions and Their Applications. Cambridge University Press. ISBN 978-0521826549. 
• Cherubini, Umberto; Luciano, Elisa; Vecchiato, Walter (2004). Copula methods in finance. John Wiley & Sons. ISBN 978-0470863442. 
• Roth, Michael (17. 4. 2013). „On the Multivariate t Distribution” (PDF). Automatic Control group. Linköpin University, Sweden. Архивирано (PDF) из оригинала 31. 7. 2022. г. Приступљено 1. 6. 2022. CS1 одржавање: Формат датума (веза)
• Botev, Z. I.; L'Ecuyer, P. (6. 12. 2015). „Efficient probability estimation and simulation of the truncated multivariate student-t distribution”. 2015 Winter Simulation Conference (WSC). Huntington Beach, CA, USA: IEEE. стр. 380—391. doi:10.1109/WSC.2015.7408180. CS1 одржавање: Формат датума (веза)
• Genz, Alan (2009). Computation of Multivariate Normal and t Probabilities. Lecture Notes in Statistics. 195. Springer. ISBN 978-3-642-01689-9. doi:10.1007/978-3-642-01689-9. Архивирано из оригинала 2022-08-27. г. Приступљено 2017-09-05. 
• Muirhead, Robb (1982). Aspects of Multivariate Statistical Theory. USA: Wiley. стр. 32—36 Theorem 1.5.4. ISBN 978-0-47 1-76985-9. 
• Cornish, E A (1954). „The Multivariate t-Distribution Associated with a Set of Normal Sample Deviates.”. Australian Journal of Physics. 7: 531—542. doi:10.1071/PH550193 .