Πολυμεταβλητή κανονική κατανομή

Πολλά δειγματοληπτικά σημεία από μια πολυμεταβλητή κανονική κατανομή με ${\boldsymbol {\mu }}=\left[{\begin{smallmatrix}0\\0\end{smallmatrix}}\right]$ and ${\boldsymbol {\Sigma }}=\left[{\begin{smallmatrix}1&3/5\\3/5&2\end{smallmatrix}}\right]$, που απεικονίζεται μαζί με την έλλειψη 3-sigma, τις δύο οριακές κατανομές και τα δύο ιστογράμματα 1-d.

Στη θεωρία πιθανοτήτων και τη στατιστική, η πολυμεταβλητή κανονική κατανομή, η πολυμεταβλητή Γκαουσιανή κατανομή ή η κοινή κανονική κατανομή είναι μια γενίκευση της μονοδιάστατης κανονικής κατανομής σε υψηλότερες διαστάσεις. Σύμφωνα με τον ορισμό, ένα τυχαίο διάνυσμα λέγεται ότι έχει k-μεταβλητή κανονική κατανομή εάν κάθε γραμμικός συνδυασμός των k συνιστωσών του έχει μονομεταβλητή κανονική κατανομή. Η σημασία του προκύπτει κυρίως από το πολυμεταβλητό κεντρικό οριακό θεώρημα. Η πολυμεταβλητή κανονική κατανομή χρησιμοποιείται συχνά για να περιγράψει, τουλάχιστον κατά προσέγγιση, οποιοδήποτε σύνολο (ενδεχομένως) συσχετιζόμενων τυχαίων μεταβλητών πραγματικής τιμής, κάθε μία από τις οποίες συσσωρεύεται γύρω από μια μέση τιμή.

Ορισμοί

Συμβολισμός και παραμετροποίηση

Η πολυμεταβλητή κανονική κατανομή ενός k-διάστατου τυχαίου διανύσματος $\mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }$ μπορεί να γραφεί με τον ακόλουθο συμβολισμό:

$\mathbf {X} \ \sim \ {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),$

ή να γίνει ρητά γνωστό ότι το $\mathbf {X}$ είναι k-διάστατο,

$\mathbf {X} \ \sim \ {\mathcal {N}}_{k}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),$

με k-διάστατο μέσο διάνυσμα

${\boldsymbol {\mu }}=\operatorname {E} [\mathbf {X} ]=(\operatorname {E} [X_{1}],\operatorname {E} [X_{2}],\ldots ,\operatorname {E} [X_{k}])^{\mathrm {T} },$

και $k\times k$ πίνακα συνδιακύμανσης

$\Sigma _{i,j}=\operatorname {E} [(X_{i}-\mu _{i})(X_{j}-\mu _{j})]=\operatorname {Cov} [X_{i},X_{j}]$

έτσι ώστε $1\leq i\leq k$ and $1\leq j\leq k$.

Ο αντίστροφος του πίνακα συνδιακύμανσης ονομάζεται πίνακας ακρίβειας και συμβολίζεται με ${\boldsymbol {Q}}={\boldsymbol {\Sigma }}^{-1}$.

Τυπικό κανονικό τυχαίο διάνυσμα

Ένα πραγματικό τυχαίο διάνυσμα $\mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }$ ονομάζεται τυπικό κανονικό τυχαίο διάνυσμα αν όλες οι συνιστώσες του $X_{i}$ είναι ανεξάρτητες και κάθε μία είναι μια κανονικά κατανεμημένη τυχαία μεταβλητή με μοναδιαία διακύμανση μηδενικού μέσου, δηλαδή αν $X_{i}\sim \ {\mathcal {N}}(0,1)$ για όλα τα $i=1\ldots k$.

Κεντρικό κανονικό τυχαίο διάνυσμα

Ένα πραγματικό τυχαίο διάνυσμα $\mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }$ ονομάζεται κεντρικό κανονικό τυχαίο διάνυσμα αν υπάρχει ένας $k\times \ell$ πίνακας ${\boldsymbol {A}}$ τέτοιος ώστε ${\boldsymbol {A}}\mathbf {Z}$ έχει την ίδια κατανομή με το $\mathbf {X}$ όπου $\mathbf {Z}$ είναι ένα τυπικό κανονικό τυχαίο διάνυσμα με $\ell$ συνιστώσες.

Κανονικό τυχαίο διάνυσμα

Ένα πραγματικό τυχαίο διάνυσμα $\mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }$ ονομάζεται κανονικό τυχαίο διάνυσμα αν υπάρχει ένα τυχαίο $\ell$-διάνυσμα $\mathbf {Z}$, το οποίο είναι ένα τυπικό κανονικό τυχαίο διάνυσμα, ένα$k$-διάνυσμα ${\boldsymbol {\mu }}$, και ένας $k\times \ell$ πίνακας ${\boldsymbol {A}}$, τέτοιος ώστε $\mathbf {X} ={\boldsymbol {A}}\mathbf {Z} +{\boldsymbol {\mu }}$.

Τυπικά:

$\mathbf {X} \ \sim \ {\mathcal {N}}_{k}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})\iff {\text{there exist }}{\boldsymbol {\mu }}\in \mathbb {R} ^{k},{\boldsymbol {A}}\in \mathbb {R} ^{k\times \ell }{\text{ such that }}\mathbf {X} ={\boldsymbol {A}}\mathbf {Z} +{\boldsymbol {\mu }}{\text{ and }}\forall n=1,\ldots ,\ell :Z_{n}\sim \ {\mathcal {N}}(0,1),{\text{i.i.d.}}$

Ο πίνακας συνδιακύμανσης είναι ${\boldsymbol {\Sigma }}={\boldsymbol {A}}{\boldsymbol {A}}^{\mathrm {T} }$.

Στην εκφυλισμένη περίπτωση όπου ο πίνακας συνδιακύμανσης είναι ιδιάζων, η αντίστοιχη κατανομή δεν έχει πυκνότητα- δείτε την ενότητα παρακάτω για λεπτομέρειες. Αυτή η περίπτωση εμφανίζεται συχνά στη στατιστική- επί παραδείγματι, στην κατανομή του διανύσματος των καταλοίπων στη συνήθη παλινδρόμηση ελαχίστων τετραγώνων. Οι $X_{i}$ δεν είναι γενικά ανεξάρτητες- μπορούν να θεωρηθούν ως το αποτέλεσμα της εφαρμογής του πίνακα ${\boldsymbol {A}}$ σε μια συλλογή ανεξάρτητων γκαουσιανών μεταβλητών $\mathbf {Z}$.

Ισοδύναμοι ορισμοί

Οι ακόλουθοι ορισμοί είναι ισοδύναμοι με τον ορισμό που δίνεται παραπάνω. Ένα τυχαίο διάνυσμα $\mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }$ έχει πολυμεταβλητή κανονική κατανομή εάν ικανοποιεί μία από τις ακόλουθες ισοδύναμες συνθήκες.

• Κάθε γραμμικός συνδυασμός $Y=a_{1}X_{1}+\cdots +a_{k}X_{k}$ των συνιστωσών του είναι κανονικά κατανεμημένος. Δηλαδή, για κάθε σταθερό διάνυσμα $\mathbf {a} \in \mathbb {R} ^{k}$, η τυχαία μεταβλητή $Y=\mathbf {a} ^{\mathrm {T} }\mathbf {X}$ έχει μονοδιάστατη κανονική κατανομή, όπου μια μονοδιάστατη κανονική κατανομή με μηδενική διακύμανση είναι μια σημειακή μάζα στη μέση τιμή της.
• Υπάρχει ένα k-διάνυσμα $\mathbf {\mu }$ και ένας συμμετρικός, θετικά ημιτελής $k\times k$ πίνακας ${\boldsymbol {\Sigma }}$, τέτοιος ώστε η χαρακτηριστική συνάρτηση του $\mathbf {X}$ να είναι $\varphi _{\mathbf {X} }(\mathbf {u} )=\exp {\Big (}i\mathbf {u} ^{\mathrm {T} }{\boldsymbol {\mu }}-{\tfrac {1}{2}}\mathbf {u} ^{\mathrm {T} }{\boldsymbol {\Sigma }}\mathbf {u} {\Big )}.$

Η σφαιρική κανονική κατανομή μπορεί να χαρακτηριστεί ως η μοναδική κατανομή στην οποία οι συνιστώσες είναι ανεξάρτητες σε οποιοδήποτε ορθογώνιο σύστημα συντεταγμένων.

Συνάρτηση πυκνότητας

Διμεταβλητή κανονική κοινή πυκνότητα

Μη εκφυλισμένη περίπτωση

Η πολυμεταβλητή κανονική κατανομή λέγεται «μη εκφυλισμένη» όταν ο συμμετρικός πίνακας συνδιακύμανσης ${\boldsymbol {\Sigma }}$ είναι θετικά ορισμένος. Στην περίπτωση αυτή η κατανομή έχει πυκνότητα

$f_{\mathbf {X} }(x_{1},\ldots ,x_{k})={\frac {\exp \left(-{\frac {1}{2}}\left({\mathbf {x} }-{\boldsymbol {\mu }}\right)^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}\left({\mathbf {x} }-{\boldsymbol {\mu }}\right)\right)}{\sqrt {(2\pi )^{k}|{\boldsymbol {\Sigma }}|}}}$

όπου ${\mathbf {x} }$ είναι ένα πραγματικό k-διάστατο διάνυσμα στήλης και $|{\boldsymbol {\Sigma }}|\equiv \det {\boldsymbol {\Sigma }}$ είναι ο προσδιοριστής του ${\boldsymbol {\Sigma }}$, επίσης γνωστός ως γενικευμένη διακύμανση. Η παραπάνω εξίσωση ανάγεται σε εκείνη της μονομεταβλητής κανονικής κατανομής εάν ${\boldsymbol {\Sigma }}$ είναι ένας πίνακας $1\times 1$ (δηλαδή ένας απλός πραγματικός αριθμός).

Η κυκλικά συμμετρική εκδοχή της μιγαδικής κανονικής κατανομής έχει ελαφρώς διαφορετική μορφή.

Κάθε τόπος ισο-πυκνότητας - ο τόπος των σημείων στον k-διάστατο χώρο, καθένα από τα οποία δίνει την ίδια συγκεκριμένη τιμή της πυκνότητας - είναι μια έλλειψη ή η υψηλότερης διάστασης γενίκευσή της- επομένως η πολυμεταβλητή κανονική είναι μια ειδική περίπτωση των ελλειπτικών κατανομών.

Η ποσότητα ${\sqrt {({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})}}$ είναι γνωστή ως απόσταση Μαχαλανόμπις, η οποία αντιπροσωπεύει την απόσταση του σημείου δοκιμής ${\mathbf {x} }$ από τη μέση τιμή ${\boldsymbol {\mu }}$. Η τετραγωνική απόσταση Μαχαλανόμπις

$({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})$ αναλύεται σε ένα άθροισμα k όρων, όπου κάθε όρος είναι γινόμενο τριών σημαντικών συνιστωσών.

Ας σημειωθεί ότι στην περίπτωση που $k=1$, η κατανομή ανάγεται σε μονομεταβλητή κανονική κατανομή και η απόσταση Μαχαλανόμπις ανάγεται στην απόλυτη τιμή της τυπικής βαθμολογίας. Βλέπε επίσης Διάστημα παρακάτω.

Διδάστατη περίπτωση

Στη διδιάστατη μη-ιδιάζουσα περίπτωση ($k=\operatorname {rank} \left(\Sigma \right)=2$), η συνάρτηση πυκνότητας πιθανότητας ενός διανύσματος ${\text{[XY]}}\prime$ είναι:

$f(x,y)={\frac {1}{2\pi \sigma _{X}\sigma _{Y}{\sqrt {1-\rho ^{2}}}}}\exp \left(-{\frac {1}{2\left[1-\rho ^{2}\right]}}\left[\left({\frac {x-\mu _{X}}{\sigma _{X}}}\right)^{2}-2\rho \left({\frac {x-\mu _{X}}{\sigma _{X}}}\right)\left({\frac {y-\mu _{Y}}{\sigma _{Y}}}\right)+\left({\frac {y-\mu _{Y}}{\sigma _{Y}}}\right)^{2}\right]\right)$

όπου $\rho$ είναι η συσχέτιση μεταξύ $X$ και $Y$ και

${\boldsymbol {\mu }}={\begin{pmatrix}\mu _{X}\\\mu _{Y}\end{pmatrix}},\quad {\boldsymbol {\Sigma }}={\begin{pmatrix}\sigma _{X}^{2}&\rho \sigma _{X}\sigma _{Y}\\\rho \sigma _{X}\sigma _{Y}&\sigma _{Y}^{2}\end{pmatrix}}.$

Στη διμεταβλητή περίπτωση, η πρώτη ισοδύναμη συνθήκη για την πολυμεταβλητή ανακατασκευή της κανονικότητας μπορεί να γίνει λιγότερο περιοριστική, καθώς αρκεί να επαληθεύσουμε ότι ένα μετρήσιμο άπειρο σύνολο διαφορετικών γραμμικών συνδυασμών των $X$ και $Y$ είναι κανονικοί για να συμπεράνουμε ότι το διάνυσμα ${\text{[XY]}}\prime$ είναι διμεταβλητό κανονικό.

Οι διμεταβλητοί τόποι ισοπυκνότητας που απεικονίζονται στο επίπεδο $x,y$ είναι ελλείψεις, των οποίων οι κύριοι άξονες ορίζονται από τα ιδιοδιανύσματα του πίνακα συνδιακύμανσης ${\boldsymbol {\Sigma }}$ (η μείζων και η ελάσσων ημιδιαμέτρος της έλλειψης ισούνται με την τετραγωνική ρίζα των διατεταγμένων ιδιοτιμών).

Διμεταβλητή κανονική κατανομή με κέντρο $(1,3)$ και τυπική απόκλιση 3 περίπου στην κατεύθυνση $(0,878,0,478)$ και 1 στην ορθή κατεύθυνση.

Καθώς η απόλυτη τιμή της παραμέτρου συσχέτισης $\rho$ αυξάνεται, οι θέσεις αυτές συμπιέζονται προς την ακόλουθη γραμμή :

$y(x)=\operatorname {sgn}(\rho ){\frac {\sigma _{Y}}{\sigma _{X}}}(x-\mu _{X})+\mu _{Y}.$

Αυτό συμβαίνει επειδή η έκφραση αυτή, με την αντικατάσταση της $\operatorname {sgn}(\rho )$ (όπου sgn είναι η συνάρτηση προσήμου) από την $\rho$, είναι η καλύτερη γραμμική αμερόληπτη πρόβλεψη της $Y$ δεδομένης μιας τιμής της $X$.

Εκφυλισμένη περίπτωση

Εάν ο πίνακας συνδιακύμανσης ${\boldsymbol {\Sigma }}$ δεν είναι πλήρους τάξης, τότε η πολυμεταβλητή κανονική κατανομή είναι εκφυλισμένη και δεν έχει πυκνότητα. Πιο συγκεκριμένα, δεν έχει πυκνότητα ως προς το k -διάστατο μέτρο Lebesgue (το οποίο είναι το συνηθισμένο μέτρο που θεωρείται στα μαθήματα πιθανοτήτων επιπέδου μαθηματικών). Μόνο τα τυχαία διανύσματα των οποίων οι κατανομές είναι απολύτως συνεχείς ως προς ένα μέτρο λέγεται ότι έχουν πυκνότητα (ως προς αυτό το μέτρο). Για να μιλήσουμε για πυκνότητες, αλλά να αποφύγουμε να ασχοληθούμε με θεωρητικές περιπλοκές του μέτρου, μπορεί να είναι απλούστερο να περιορίσουμε την προσοχή σε ένα υποσύνολο $\operatorname {rank} ({\boldsymbol {\Sigma }})$ των συντεταγμένων του $\mathbf {x}$ τέτοιο ώστε ο πίνακας συνδιακύμανσης για αυτό το υποσύνολο να είναι θετικά ορισμένος- τότε οι άλλες συντεταγμένες μπορούν να θεωρηθούν ως μια αφινική συνάρτηση αυτών των επιλεγμένων συντεταγμένων.

Επομένως, για να μιλήσουμε για πυκνότητες με νόημα σε μεμονωμένες περιπτώσεις, πρέπει να επιλέξουμε ένα διαφορετικό μέτρο βάσης. Χρησιμοποιώντας το θεώρημα αποσύνθεσης μπορούμε να ορίσουμε έναν περιορισμό του μέτρου Λεμπέσγκ στον $\operatorname {rank} ({\boldsymbol {\Sigma }})$-διάστατο affine υποχώρο του $\mathbb {R} ^{k}$ όπου υποστηρίζεται η κατανομή Γκάους, i. δηλ. $\left\{{\boldsymbol {\mu }}+{\boldsymbol {\Sigma ^{1/2}}}\mathbf {v$ :\mathbf {v} \ in\mathbb {R} ^{k}\right\}} . Ως προς αυτό το μέτρο η κατανομή έχει την πυκνότητα του ακόλουθου μοτίβου:

$f(\mathbf {x} )={\frac {\exp \left(-{\frac {1}{2}}\left(\mathbf {x} -{\boldsymbol {\mu }}\right)^{\mathrm {T} }{\boldsymbol {\Sigma }}^{+}\left(\mathbf {x} -{\boldsymbol {\mu }}\right)\right)}{\sqrt {\det \nolimits ^{*}(2\pi {\boldsymbol {\Sigma }})}}}$

όπου ${\boldsymbol {\Sigma }}^{+}$ είναι το γενικευμένο αντίστροφο και $\det \nolimits ^{*}$ είναι ο ψευδο-προσδιοριστής.

Αθροιστική συνάρτηση κατανομής

Η έννοια της αθροιστικής συνάρτησης κατανομής (cdf) στη διάσταση 1 μπορεί να επεκταθεί με δύο τρόπους στην πολυδιάστατη περίπτωση, με βάση ορθογώνιες και ελλειψοειδείς περιοχές.

Ο πρώτος τρόπος είναι να οριστεί η cdf $F(\mathbf {x} )$ ενός τυχαίου διανύσματος $\mathbf {X}$ ως η πιθανότητα όλες οι συνιστώσες του $\mathbf {X}$ να είναι μικρότερες ή ίσες με τις αντίστοιχες τιμές στο διάνυσμα $\mathbf {x}$:

$F(\mathbf {x} )=\mathbb {P} (\mathbf {X} \leq \mathbf {x} ),\quad {\text{where }}\mathbf {X} \sim {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}).$

Παρόλο που δεν υπάρχει κλειστή μορφή για την $F(\mathbf {x} )$, υπάρχει ένας αριθμός αλγορίθμων που την εκτιμούν αριθμητικά.

Ένας άλλος τρόπος είναι να ορίσουμε το cdf $F(r)$ ως την πιθανότητα ένα δείγμα να βρίσκεται εντός του ελλειψοειδούς που καθορίζεται από την απόσταση Μαχαλανόμπις $r$ από την Γκαουσιανή, μια άμεση γενίκευση της τυπικής απόκλισης.

Για τον υπολογισμό των τιμών αυτής της συνάρτησης υπάρχουν κλειστοί αναλυτικοί τύποι, ως εξής.

Διάστημα

Επάνω: η πιθανότητα ενός διμεταβλητού κανονικού στην περιοχή $x\sin y-y\cos x>1$ (μπλε περιοχές). Μέση: η πιθανότητα μιας τριμεταβλητής κανονικής σε ένα τοροειδές πεδίο. Κάτω: συγκλίνον ολοκλήρωμα Μόντε-Κάρλο της πιθανότητας μιας 4-μεταβλητής κανονικής στο 4d κανονικό πολυεδρικό πεδίο που ορίζεται από την $\sum _{i=1}^{4}\vert x_{i}\vert <1$. Όλα αυτά υπολογίζονται με την αριθμητική μέθοδο της ανίχνευσης ακτίνων.

Το διάστημα για την πολυμεταβλητή κανονική κατανομή δίνει μια περιοχή που αποτελείται από εκείνα τα διανύσματα x που ικανοποιούν

$({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})\leq \chi _{k}^{2}(p).$

Εδώ ${\mathbf {x} }$ είναι ένα $k$-διάστατο διάνυσμα, ${\boldsymbol {\mu }}$ είναι το γνωστό $k$-διάστατο μέσο διάνυσμα, ${\boldsymbol {\Sigma }}$ είναι ο γνωστός πίνακας συνδιακύμανσης και $\chi _{k}^{2}(p)$ είναι η συνάρτηση ποσοστηρίου για την πιθανότητα $p$ της κατανομής χι-τετράγωνο (chi-squared) με $k$ βαθμούς ελευθερίας. Όταν $k=2,$ η έκφραση ορίζει το εσωτερικό μιας έλλειψης και η κατανομή χι-τετράγωνο απλοποιείται σε μια εκθετική κατανομή με μέση τιμή ίση με δύο (ποσοστό ίσο με το μισό).

Συμπληρωματική αθροιστική συνάρτηση κατανομής (κατανομή ουράς)

Η συμπληρωματική αθροιστική συνάρτηση κατανομής (ccdf) ή η κατανομή ουράς

ορίζεται ως ${\overline {F}}(\mathbf {x} )=1-\mathbb {P} \left(\mathbf {X} \leq \mathbf {x} \right)$.

όταν $\mathbf {X} \sim {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }})$, τότε το ccdf μπορεί να γραφεί ως πιθανότητα το μέγιστο των εξαρτημένων γκαουσιανών μεταβλητών:

${\overline {F}}(\mathbf {x} )=\mathbb {P} \left(\bigcup _{i}\{X_{i}\geq x_{i}\}\right)=\mathbb {P} \left(\max _{i}Y_{i}\geq 0\right),\quad {\text{where }}\mathbf {Y} \sim {\mathcal {N}}\left({\boldsymbol {\mu }}-\mathbf {x} ,\,{\boldsymbol {\Sigma }}\right).$

Αν και δεν υπάρχει απλός κλειστός τύπος για τον υπολογισμό του ccdf, το μέγιστο των εξαρτημένων γκαουσιανών μεταβλητών μπορεί να εκτιμηθεί με ακρίβεια μέσω της μεθόδου Μόντε Κάρλο.

Ιδιότητες

Πιθανότητα σε διάφορους τομείς

Το περιεχόμενο πιθανότητας της πολυμεταβλητής κανονικής σε ένα τετραγωνικό πεδίο που ορίζεται από τη σχέση $q({\boldsymbol {x}})={\boldsymbol {x}}'\mathbf {Q_{2}} {\boldsymbol {x}}+{\boldsymbol {q_{1}}}'{\boldsymbol {x}}+q_{0}>0$ (όπου $\mathbf {Q_{2}}$ είναι ένας πίνακας, ${\boldsymbol {q_{1}}}$ είναι ένα διάνυσμα, και $q_{0}$ είναι ένα κλιμάκιο), η οποία είναι σχετική με τη θεωρία Μπέιζιαν ταξινόμησης/αποφάσεων που χρησιμοποιεί την ανάλυση διάκρισης Γκάους, δίνεται από τη γενικευμένη κατανομή χι-τετράγωνο.

Το περιεχόμενο πιθανότητας εντός οποιουδήποτε γενικού πεδίου που ορίζεται από την $f({\boldsymbol {x}})>0$ (όπου $f({\boldsymbol {x}})$ είναι μια γενική συνάρτηση) μπορεί να υπολογιστεί με τη χρήση της αριθμητικής μεθόδου της ανίχνευσης ακτίνων (Matlab code Αρχειοθετήθηκε 2025-02-20 στο Wayback Machine.).

Υψηλότερες ροπές

Οι ροπές k τάξης του x δίνονται από

$\mu _{1,\ldots ,N}(\mathbf {x} )\mathrel {\stackrel {\mathrm {def} }{=}} \mu _{r_{1},\ldots ,r_{N}}(\mathbf {x} )\mathrel {\stackrel {\mathrm {def} }{=}} \operatorname {E} \left[\prod _{j=1}^{N}X_{j}^{r_{j}}\right]$

όπου r₁ + r₂ + ⋯ + r_N = k.

Οι κεντρικές ροπές k τάξης είναι οι ακόλουθες

Αν k είναι περιττό, μ_{1, ..., N}(x − μ) = 0. Αν k είναι άρτιο με k = 2λ, τότε

$\mu _{1,\dots ,2\lambda }(\mathbf {x} -{\boldsymbol {\mu }})=\sum \left(\sigma _{ij}\sigma _{k\ell }\cdots \sigma _{XZ}\right)$

όπου το άθροισμα λαμβάνεται σε όλες τις κατανομές του συνόλου $\left\{1,\ldots ,2\lambda \right\}$ σε λ (μη διατεταγμένα) ζεύγη. Δηλαδή, για μια kth κεντρική στιγμή (= 2λ = 6), αθροίζουμε τα γινόμενα των λ = 3 συνδιακυμάνσεις (η αναμενόμενη τιμή μ λαμβάνεται 0 για λόγους λιτότητας):

${\begin{aligned}&\operatorname {E} [X_{1}X_{2}X_{3}X_{4}X_{5}X_{6}]\\[8pt]={}&\operatorname {E} [X_{1}X_{2}]\operatorname {E} [X_{3}X_{4}]\operatorname {E} [X_{5}X_{6}]+\operatorname {E} [X_{1}X_{2}]\operatorname {E} [X_{3}X_{5}]\operatorname {E} [X_{4}X_{6}]+\operatorname {E} [X_{1}X_{2}]\operatorname {E} [X_{3}X_{6}]\operatorname {E} [X_{4}X_{5}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{3}]\operatorname {E} [X_{2}X_{4}]\operatorname {E} [X_{5}X_{6}]+\operatorname {E} [X_{1}X_{3}]\operatorname {E} [X_{2}X_{5}]\operatorname {E} [X_{4}X_{6}]+\operatorname {E} [X_{1}X_{3}]\operatorname {E} [X_{2}X_{6}]\operatorname {E} [X_{4}X_{5}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{4}]\operatorname {E} [X_{2}X_{3}]\operatorname {E} [X_{5}X_{6}]+\operatorname {E} [X_{1}X_{4}]\operatorname {E} [X_{2}X_{5}]\operatorname {E} [X_{3}X_{6}]+\operatorname {E} [X_{1}X_{4}]\operatorname {E} [X_{2}X_{6}]\operatorname {E} [X_{3}X_{5}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{5}]\operatorname {E} [X_{2}X_{3}]\operatorname {E} [X_{4}X_{6}]+\operatorname {E} [X_{1}X_{5}]\operatorname {E} [X_{2}X_{4}]\operatorname {E} [X_{3}X_{6}]+\operatorname {E} [X_{1}X_{5}]\operatorname {E} [X_{2}X_{6}]\operatorname {E} [X_{3}X_{4}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{6}]\operatorname {E} [X_{2}X_{3}]\operatorname {E} [X_{4}X_{5}]+\operatorname {E} [X_{1}X_{6}]\operatorname {E} [X_{2}X_{4}]\operatorname {E} [X_{3}X_{5}]+\operatorname {E} [X_{1}X_{6}]\operatorname {E} [X_{2}X_{5}]\operatorname {E} [X_{3}X_{4}].\end{aligned}}$

Αυτό δίνει ${\tfrac {(2\lambda -1)!}{2^{\lambda -1}(\lambda -1)!}}$ όρους στο άθροισμα (15 στην παραπάνω περίπτωση), καθένας από τους οποίους είναι το γινόμενο των λ (σε αυτή την περίπτωση 3) συνδιακυμάνσεων. Για ροπές τέταρτης τάξης (τέσσερις μεταβλητές) υπάρχουν τρεις όροι. Για ροπές έκτης τάξης υπάρχουν 3 × 5 = 15 όροι, και για ροπές όγδοης τάξης υπάρχουν 3 × 5 × 7 = 105 όροι.

Οι συνδιακυμάνσεις προσδιορίζονται στη συνέχεια με την αντικατάσταση των όρων του καταλόγου $[1,\ldots ,2\lambda ]$ με τους αντίστοιχους όρους του καταλόγου που αποτελείται από r₁ μονάδες, στη συνέχεια r₂ δυάδες, κ.λπ. Για να το καταδείξετε αυτό, εξετάστε την ακόλουθη περίπτωση κεντρικής ροπής 4ης τάξης:

${\begin{aligned}\operatorname {E} \left[X_{i}^{4}\right]&=3\sigma _{ii}^{2}\\[4pt]\operatorname {E} \left[X_{i}^{3}X_{j}\right]&=3\sigma _{ii}\sigma _{ij}\\[4pt]\operatorname {E} \left[X_{i}^{2}X_{j}^{2}\right]&=\sigma _{ii}\sigma _{jj}+2\sigma _{ij}^{2}\\[4pt]\operatorname {E} \left[X_{i}^{2}X_{j}X_{k}\right]&=\sigma _{ii}\sigma _{jk}+2\sigma _{ij}\sigma _{ik}\\[4pt]\operatorname {E} \left[X_{i}X_{j}X_{k}X_{n}\right]&=\sigma _{ij}\sigma _{kn}+\sigma _{ik}\sigma _{jn}+\sigma _{in}\sigma _{jk}.\end{aligned}}$

όπου $\sigma _{ij}$ είναι η συνδιακύμανση των X_i και X_j. Με την παραπάνω μέθοδο βρίσκει κανείς πρώτα τη γενική περίπτωση για μια kth ροπή με k διαφορετικές μεταβλητές X, $E\left[X_{i}X_{j}X_{k}X_{n}\right]$, και στη συνέχεια την απλοποιεί αναλόγως. Επί παραδείγματι, για την $\operatorname {E} [X_{i}^{2}X_{k}X_{n}]$, αφήνουμε X_i = X_j και χρησιμοποιούμε το γεγονός ότι $\sigma _{ii}=\sigma _{i}^{2}$.

Συναρτήσεις ενός κανονικού διανύσματος

a: Πυκνότητα πιθανότητας μιας συνάρτησης $\cos x^{2}$ μιας απλής κανονικής μεταβλητής $x$ με $\mu =-2$ και $\sigma =3$. b: Πυκνότητα πιθανότητας μιας συνάρτησης $x^{y}$ ενός κανονικού διανύσματος $(x,y)$, με μέση τιμή ${\boldsymbol {\mu }}=(1,2)$, και συνδιακύμανση $\mathbf {\Sigma } ={\begin{bmatrix}.01&.016\\.016&.04\end{bmatrix}}$. c: Χάρτης θερμότητας της κοινής πυκνότητας πιθανότητας δύο συναρτήσεων ενός κανονικού διανύσματος $(x,y)$, με μέση τιμή ${\boldsymbol {\mu }}=(-2,5)$, και συνδιακύμανση $\mathbf {\Sigma } ={\begin{bmatrix}10&-7\\-7&10\end{bmatrix}}$. d: Πυκνότητα πιθανότητας μιας συνάρτησης $\sum _{i=1}^{4}\vert x_{i}\vert$ από 4 iid τυπικές κανονικές μεταβλητές. Αυτές υπολογίζονται με την αριθμητική μέθοδο της ανίχνευσης ακτίνων.

Μια τετραγωνική μορφή ενός κανονικού διανύσματος ${\boldsymbol {x}}$, $q({\boldsymbol {x}})={\boldsymbol {x}}'\mathbf {Q_{2}} {\boldsymbol {x}}+{\boldsymbol {q_{1}}}'{\boldsymbol {x}}+q_{0}$ (όπου $\mathbf {Q_{2}}$ είναι ένας πίνακας, ${\boldsymbol {q_{1}}}$ είναι ένα διάνυσμα και $q_{0}$ είναι ένα κλιμάκιο), είναι μια γενικευμένη μεταβλητή chi-squared. Η κατεύθυνση ενός κανονικού διανύσματος ακολουθεί μια προβαλλόμενη κανονική κατανομή.

Εάν $f({\boldsymbol {x}})$ είναι μια γενική βαθμωτή συνάρτηση ενός κανονικού διανύσματος, η συνάρτηση πυκνότητας πιθανότητας, η αθροιστική συνάρτηση κατανομής και η αντίστροφη αθροιστική συνάρτηση κατανομής μπορούν να υπολογιστούν με την αριθμητική μέθοδο της ανίχνευσης ακτίνων (Matlab code Αρχειοθετήθηκε 2025-02-20 στο Wayback Machine.).

Συνάρτηση πιθανοφάνειας

Εάν ο μέσος όρος και ο πίνακας συνδιακύμανσης είναι γνωστά, η λογαριθμική πιθανότητα ενός παρατηρούμενου διανύσματος ${\boldsymbol {x}}$ είναι απλώς το λογάριθμο της συνάρτησης πυκνότητας πιθανότητας:

$\ln L({\boldsymbol {x}})=-{\frac {1}{2}}\left[\ln(|{\boldsymbol {\Sigma }}|\,)+({\boldsymbol {x}}-{\boldsymbol {\mu }})'{\boldsymbol {\Sigma }}^{-1}({\boldsymbol {x}}-{\boldsymbol {\mu }})+k\ln(2\pi )\right]$,

Η κυκλικά συμμετρική εκδοχή της μη κεντρικής περίπτωσης του μιγαδικού, όπου ${\boldsymbol {z}}$ είναι ένα διάνυσμα μιγαδικών αριθμών, θα είναι

$\ln L({\boldsymbol {z}})=-\ln(|{\boldsymbol {\Sigma }}|\,)-({\boldsymbol {z}}-{\boldsymbol {\mu }})^{\dagger }{\boldsymbol {\Sigma }}^{-1}({\boldsymbol {z}}-{\boldsymbol {\mu }})-k\ln(\pi )$

δηλ. με τη συζυγή μεταφορά (που υποδεικνύεται με $\dagger$) να αντικαθιστά την κανονική μεταφορά (που υποδεικνύεται με $'$). Αυτό είναι ελαφρώς διαφορετικό από ό,τι στην πραγματική περίπτωση, επειδή η κυκλικά συμμετρική εκδοχή της μιγαδικής κανονικής κατανομής έχει ελαφρώς διαφορετική μορφή για τη σταθερά κανονικοποίησης.

Ένας παρόμοιος συμβολισμός χρησιμοποιείται για την πολλαπλή γραμμική παλινδρόμηση.

Δεδομένου ότι η λογαριθμική πιθανότητα ενός κανονικού διανύσματος είναι μια τετραγωνική μορφή του κανονικού διανύσματος, κατανέμεται ως μια γενικευμένη μεταβλητή χι-τετραγώνου.

Διαφορική εντροπία

Η διαφορική εντροπία της πολυμεταβλητής κανονικής κατανομής είναι

${\begin{aligned}h\left(f\right)&=-\int _{-\infty }^{\infty }\int _{-\infty }^{\infty }\cdots \int _{-\infty }^{\infty }f(\mathbf {x} )\ln f(\mathbf {x} )\,d\mathbf {x} \\&={\frac {1}{2}}\ln {}\left|2\pi e{\boldsymbol {\Sigma }}\right|={\frac {k}{2}}+{\frac {k}{2}}\ln {}2\pi +{\frac {1}{2}}\ln {}\left|{\boldsymbol {\Sigma }}\right|\\\end{aligned}}$,

όπου οι ράβδοι υποδηλώνουν τον προσδιοριστή του πίνακα, k είναι η διαστατικότητα του διανυσματικού χώρου και το αποτέλεσμα έχει μονάδες nats.

Απόκλιση Kullback–Leibler

Η απόκλιση Kullback-Leibler από ${\mathcal {N}}_{1}({\boldsymbol {\mu }}_{1},{\boldsymbol {\Sigma }}_{1})$ σε ${\mathcal {N}}_{0}({\boldsymbol {\mu }}_{0},{\boldsymbol {\Sigma }}_{0})$, για μη ιδιάζοντες πίνακες Σ₁ και Σ₀, is:

$D_{\text{KL}}({\mathcal {N}}_{0}\parallel {\mathcal {N}}_{1})={1 \over 2}\left\{\operatorname {tr} \left({\boldsymbol {\Sigma }}_{1}^{-1}{\boldsymbol {\Sigma }}_{0}\right)+\left({\boldsymbol {\mu }}_{1}-{\boldsymbol {\mu }}_{0}\right)^{\rm {T}}{\boldsymbol {\Sigma }}_{1}^{-1}({\boldsymbol {\mu }}_{1}-{\boldsymbol {\mu }}_{0})-k+\ln {|{\boldsymbol {\Sigma }}_{1}| \over |{\boldsymbol {\Sigma }}_{0}|}\right\},$

όπου $|\cdot |$ δηλώνει τον προσδιοριστή του πίνακα, $tr(\cdot )$ είναι το ίχνος, $ln(\cdot )$ είναι ο φυσικός λογάριθμος και $k$ είναι η διάσταση του διανυσματικού χώρου.

Ο λογάριθμος πρέπει να λαμβάνεται στη βάση e, δεδομένου ότι οι δύο όροι που ακολουθούν τον λογάριθμο είναι οι ίδιοι λογάριθμοι στη βάση e εκφράσεων που είτε είναι παράγοντες της συνάρτησης πυκνότητας είτε προκύπτουν με άλλο τρόπο φυσικά.

Διαιρώντας ολόκληρη την παραπάνω έκφραση με log_e 2 προκύπτει η απόκλιση σε bit.

Όταν ${\boldsymbol {\mu }}_{1}={\boldsymbol {\mu }}_{0}$,

$D_{\text{KL}}({\mathcal {N}}_{0}\parallel {\mathcal {N}}_{1})={1 \over 2}\left\{\operatorname {tr} \left({\boldsymbol {\Sigma }}_{1}^{-1}{\boldsymbol {\Sigma }}_{0}\right)-k+\ln {|{\boldsymbol {\Sigma }}_{1}| \over |{\boldsymbol {\Sigma }}_{0}|}\right\}.$

Κανονικά κατανεμημένη και ανεξάρτητη

Εάν τα $X$ και $Y$ είναι κανονικά κατανεμημένα ανεξάρτητα, αυτό σημαίνει ότι είναι «από κοινού κανονικά κατανεμημένα», δηλαδή το ζεύγος $(X,Y)$ πρέπει να έχει πολυμεταβλητή κανονική κατανομή. Ωστόσο, ένα ζεύγος από κοινού κανονικά κατανεμημένων μεταβλητών δεν χρειάζεται να είναι ανεξάρτητο (θα ήταν έτσι μόνο αν ήταν ασυσχέτιστο, $\rho =0$ ).

Δύο κανονικά κατανεμημένες τυχαίες μεταβλητές δεν χρειάζεται να είναι από κοινού διμεταβλητές κανονικές

Το γεγονός ότι δύο τυχαίες μεταβλητές $X$ και $Y$ έχουν και οι δύο κανονική κατανομή δεν σημαίνει ότι το ζεύγος $(X,Y)$ έχει από κοινού κανονική κατανομή. Ένα απλό παράδειγμα είναι εκείνο στο οποίο το X έχει κανονική κατανομή με αναμενόμενη τιμή 0 και διακύμανση 1, και $Y=X$ αν $|X|>c$ και $Y=-X$ αν $|X|<c$, όπου $c>0$. Υπάρχουν παρόμοια αντιπαραδείγματα για περισσότερες από δύο τυχαίες μεταβλητές. Γενικά, αθροίζουν σε ένα μοντέλο μίξης.

Συσχετίσεις και ανεξαρτησία

Γενικά, οι τυχαίες μεταβλητές μπορεί να είναι ασυσχέτιστες αλλά στατιστικά εξαρτημένες. Αν όμως ένα τυχαίο διάνυσμα έχει πολυμεταβλητή κανονική κατανομή, τότε οποιαδήποτε δύο ή περισσότερες συνιστώσες του που είναι ασυσχέτιστες είναι ανεξάρτητες. Αυτό σημαίνει ότι οποιεσδήποτε δύο ή περισσότερες συνιστώσες του που είναι ανεξάρτητες κατά ζεύγη είναι ανεξάρτητες. Αλλά, όπως επισημάνθηκε μόλις παραπάνω, δεν ισχύει ότι δύο τυχαίες μεταβλητές που είναι (ξεχωριστά, οριακά) κανονικά κατανεμημένες και ασυσχέτιστες είναι ανεξάρτητες.

Κατανομές υπό όρους

Αν το Ν -διάστατο x κατανεμηθεί ως εξής

$\mathbf {x} ={\begin{bmatrix}\mathbf {x} _{1}\\\mathbf {x} _{2}\end{bmatrix}}{\text{ with sizes }}{\begin{bmatrix}q\times 1\\(N-q)\times 1\end{bmatrix}}$

και κατά συνέπεια τα μ και Σ κατανέμονται ως εξής

${\boldsymbol {\mu }}={\begin{bmatrix}{\boldsymbol {\mu }}_{1}\\{\boldsymbol {\mu }}_{2}\end{bmatrix}}{\text{ with sizes }}{\begin{bmatrix}q\times 1\\(N-q)\times 1\end{bmatrix}}$

${\boldsymbol {\Sigma }}={\begin{bmatrix}{\boldsymbol {\Sigma }}_{11}&{\boldsymbol {\Sigma }}_{12}\\{\boldsymbol {\Sigma }}_{21}&{\boldsymbol {\Sigma }}_{22}\end{bmatrix}}{\text{ with sizes }}{\begin{bmatrix}q\times q&q\times (N-q)\\(N-q)\times q&(N-q)\times (N-q)\end{bmatrix}}$

τότε η κατανομή των x₂ = a υπό την προϋπόθεση x₂ = a είναι πολυμεταβλητή κανονική (x₁ | x₂ = a) ~ N(μ, Σ) όπου

${\bar {\boldsymbol {\mu }}}={\boldsymbol {\mu }}_{1}+{\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}\left(\mathbf {a} -{\boldsymbol {\mu }}_{2}\right)$

και πίνακα συνδιακύμανσης

${\overline {\boldsymbol {\Sigma }}}={\boldsymbol {\Sigma }}_{11}-{\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}{\boldsymbol {\Sigma }}_{21}.$

Εδώ ${\boldsymbol {\Sigma }}_{22}^{-1}$ είναι το γενικευμένο αντίστροφο του ${\boldsymbol {\Sigma }}_{22}$. Ο πίνακας ${\overline {\boldsymbol {\Sigma }}}$ είναι το συμπλήρωμα Σουρ (Schur) του Σ₂₂ στο Σ. Δηλαδή, η παραπάνω εξίσωση είναι ισοδύναμη με την αντιστροφή του συνολικού πίνακα συνδιακύμανσης, την αφαίρεση των γραμμών και των στηλών που αντιστοιχούν στις μεταβλητές που εξαρτώνται και την αντιστροφή προς τα πίσω για να προκύψει ο υπό συνθήκη πίνακας συνδιακύμανσης.

Ας σημειωθεί ότι γνωρίζοντας ότι x₂ = a μεταβάλλει τη διακύμανση, αν και η νέα διακύμανση δεν εξαρτάται από τη συγκεκριμένη τιμή του a', ίσως πιο εντυπωσιακό είναι ότι ο μέσος όρος μετατοπίζεται κατά ${\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}\left(\mathbf {a} -{\boldsymbol {\mu }}_{2}\right)$; σε σύγκριση με την περίπτωση που δεν γνωρίζουμε την τιμή του a, οπότε x₁ θα είχε κατανομή ${\mathcal {N}}_{q}\left({\boldsymbol {\mu }}_{1},{\boldsymbol {\Sigma }}_{11}\right)$.

Ένα ενδιαφέρον γεγονός που προέκυψε προκειμένου να αποδειχθεί αυτό το αποτέλεσμα, είναι ότι τα τυχαία διανύσματα $\mathbf {x} _{2}$ και $\mathbf {y} _{1}=\mathbf {x} _{1}-{\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}\mathbf {x} _{2}$ είναι ανεξάρτητα.

Ο πίνακας Σ₁₂Σ₂₂⁻¹ είναι γνωστός ως πίνακας των συντελεστών παλινδρόμησης.

Διμεταβλητή περίπτωση

Στη διμεταβλητή περίπτωση όπου το x χωρίζεται σε $X_{1}$ και $X_{2}$, η υπό συνθήκη κατανομή του $X_{1}$ δεδομένου του $X_{2}$ είναι

$X_{1}\mid X_{2}=a\ \sim \ {\mathcal {N}}\left(\mu _{1}+{\frac {\sigma _{1}}{\sigma _{2}}}\rho (a-\mu _{2}),\,(1-\rho ^{2})\sigma _{1}^{2}\right)$

όπου $\rho$ είναι ο συντελεστής συσχέτισης μεταξύ $X_{1}$ and $X_{2}$.

Διμεταβλητή υπό συνθήκη προσδοκία

Γενική περίπτωση

${\begin{pmatrix}X_{1}\\X_{2}\end{pmatrix}}\sim {\mathcal {N}}\left({\begin{pmatrix}\mu _{1}\\\mu _{2}\end{pmatrix}},{\begin{pmatrix}\sigma _{1}^{2}&\rho \sigma _{1}\sigma _{2}\\\rho \sigma _{1}\sigma _{2}&\sigma _{2}^{2}\end{pmatrix}}\right)$

Η υπό συνθήκη προσδοκία της X₁ given X₂ είναι:

$\operatorname {E} (X_{1}\mid X_{2}=x_{2})=\mu _{1}+\rho {\frac {\sigma _{1}}{\sigma _{2}}}(x_{2}-\mu _{2})$

Απόδειξη: το αποτέλεσμα προκύπτει με τη λήψη της προσδοκίας της υπό συνθήκη κατανομής $X_{1}\mid X_{2}$ παραπάνω.

Στην περίπτωση με κέντρο και μοναδιαίες αποκλίσεις

${\begin{pmatrix}X_{1}\\X_{2}\end{pmatrix}}\sim {\mathcal {N}}\left({\begin{pmatrix}0\\0\end{pmatrix}},{\begin{pmatrix}1&\rho \\\rho &1\end{pmatrix}}\right)$

Η υπό συνθήκη προσδοκία της X₁ given X₂ είναι

$\operatorname {E} (X_{1}\mid X_{2}=x_{2})=\rho x_{2}$

και η υπό συνθήκη διακύμανση είναι

$\operatorname {var} (X_{1}\mid X_{2}=x_{2})=1-\rho ^{2};$

έτσι η υπό συνθήκη διακύμανση δεν εξαρτάται από x₂.

Η υπό συνθήκη προσδοκία της X₁ λαμβάνοντας υπόψιν ότι το Χ₂ είναι μικρότερο/μεγαλύτερο από το z είναι:

$\operatorname {E} (X_{1}\mid X_{2}<z)=-\rho {\varphi (z) \over \Phi (z)},$

$\operatorname {E} (X_{1}\mid X_{2}>z)=\rho {\varphi (z) \over (1-\Phi (z))},$

όπου ο τελικός λόγος εδώ ονομάζεται αντίστροφος λόγος Μιλς.

Απόδειξη: τα δύο τελευταία αποτελέσματα προκύπτουν με τη χρήση του αποτελέσματος $\operatorname {E} (X_{1}\mid X_{2}=x_{2})=\rho x_{2}$, έτσι ώστε

$\operatorname {E} (X_{1}\mid X_{2}<z)=\rho E(X_{2}\mid X_{2}<z)$ και στη συνέχεια χρησιμοποιώντας τις ιδιότητες της προσδοκίας μιας αποκομμένης κανονικής κατανομής.

Περιθωριακές κατανομές

Για να λάβουμε την περιθωριακή κατανομή σε ένα υποσύνολο πολυμεταβλητών κανονικών τυχαίων μεταβλητών, αρκεί να αφαιρέσουμε τις άσχετες μεταβλητές (τις μεταβλητές που θέλουμε να εξαιρέσουμε) από το διάνυσμα του μέσου όρου και τον πίνακα συνδιακύμανσης. Η απόδειξη γι' αυτό προκύπτει από τους ορισμούς των πολυμεταβλητών κανονικών κατανομών και της γραμμικής άλγεβρας.

Παράδειγμα

Έστω X = [X₁, X₂, X₃] πολυμεταβλητές κανονικές τυχαίες μεταβλητές με μέσο διάνυσμα μ = [μ₁, μ₂, μ₃] και πίνακα συνδιακύμανσης Σ (τυποποιημένη παραμετροποίηση για πολυμεταβλητές κανονικές κατανομές). Τότε η κοινή κατανομή του X′ = [X₁, X₃] είναι πολυμεταβλητή κανονική με μέσο διάνυσμα μ′ = [μ₁, μ₃] και πίνακα συνδιακύμανσης

${\boldsymbol {\Sigma }}'={\begin{bmatrix}{\boldsymbol {\Sigma }}_{11}&{\boldsymbol {\Sigma }}_{13}\\{\boldsymbol {\Sigma }}_{31}&{\boldsymbol {\Sigma }}_{33}\end{bmatrix}}$.

Αφινικός μετασχηματισμός

Αν Y = c + BX είναι αφινικός μετασχηματισμός του $\mathbf {X} \ \sim {\mathcal {N}}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }}),$ όπου c είναι ένα $M\times 1$ διάνυσμα σταθερών και B είναι ένας σταθερός $M\times N$ πίνακας, τότε Y έχει πολυμεταβλητή κανονική κατανομή με αναμενόμενη τιμή c + Bμ και διακύμανση BΣB^T i.e., $\mathbf {Y} \sim {\mathcal {N}}\left(\mathbf {c} +\mathbf {B} {\boldsymbol {\mu }},\mathbf {B} {\boldsymbol {\Sigma }}\mathbf {B} ^{\rm {T}}\right)$. Ειδικότερα, κάθε υποσύνολο των X_i έχει μια οριακή κατανομή που είναι επίσης πολυμεταβλητή κανονική. Για να γίνει αυτό αντιληπτό, ας θεωρήσουμε το ακόλουθο παράδειγμα: για να εξάγουμε το υποσύνολο (X₁, X₂, X₄)^T, χρησιμοποιώντας

$\mathbf {B} ={\begin{bmatrix}1&0&0&0&0&\ldots &0\\0&1&0&0&0&\ldots &0\\0&0&0&1&0&\ldots &0\end{bmatrix}}$

που εξάγει απευθείας τα επιθυμητά στοιχεία.

Ένα άλλο συμπέρασμα είναι ότι η κατανομή του Z' = b - X, όπου b είναι ένα σταθερό διάνυσμα με τον ίδιο αριθμό στοιχείων με το X' και η τελεία υποδηλώνει το γινόμενο τελείας, είναι μονομεταβλητή γκαουσιανή με $Z\sim {\mathcal {N}}\left(\mathbf {b} \cdot {\boldsymbol {\mu }},\mathbf {b} ^{\rm {T}}{\boldsymbol {\Sigma }}\mathbf {b} \right)$.

$\mathbf {B} ={\begin{bmatrix}b_{1}&b_{2}&\ldots &b_{n}\end{bmatrix}}=\mathbf {b} ^{\rm {T}}.$

Προσέξτε πώς η θετική οριστικότητα του Σ συνεπάγεται ότι η διακύμανση του γινομένου τελείας πρέπει να είναι θετική.

Ένας αφινικός μετασχηματισμός του Χ όπως το 2Χ δεν είναι το ίδιο με το άθροισμα δύο ανεξάρτητων πραγματώσεων του Χ.

Ταξινόμηση σε πολυμεταβλητές κανονικές κλάσεις

Αριστερά: Ταξινόμηση επτά πολυμεταβλητών κανονικών κλάσεων. Οι έγχρωμες ελλείψεις είναι ελλείψεις σφάλματος 1 sd. Με μαύρο χρώμα σημειώνονται τα όρια μεταξύ των περιοχών ταξινόμησης. $p_{e}$ είναι η πιθανότητα συνολικού σφάλματος ταξινόμησης. Δεξιά: ο πίνακας σφαλμάτων. $p_{ij}$ είναι η πιθανότητα ταξινόμησης ενός δείγματος από το κανονικό $i$ ως $j$. Υπολογίζονται με την αριθμητική μέθοδο της ανίχνευσης ακτίνων (Matlab code).

Γκαουσιανή διακριτική ανάλυση

Ας υποθέσουμε ότι οι παρατηρήσεις (που είναι διανύσματα) υποτίθεται ότι προέρχονται από μία από έναν αριθμό πολυμεταβλητών κανονικών κατανομών, με γνωστούς μέσους όρους και συνδιακυμάνσεις. Οποιαδήποτε δεδομένη παρατήρηση μπορεί τότε να ανατεθεί στην κατανομή από την οποία έχει τη μεγαλύτερη πιθανότητα να προέρχεται. Αυτή η διαδικασία ταξινόμησης είναι γνωστή ως ανάλυση διαχωρισμού Γκάους. Η απόδοση της ταξινόμησης, δηλαδή οι πιθανότητες των διαφόρων αποτελεσμάτων ταξινόμησης και το συνολικό σφάλμα ταξινόμησης, μπορούν να υπολογιστούν με την αριθμητική μέθοδο της ανίχνευσης ακτίνων (Matlab code Αρχειοθετήθηκε 2025-02-20 στο Wayback Machine.).

Υπολογιστικές μέθοδοι

Συλλογή τιμών από την κατανομή

Μια ευρέως χρησιμοποιούμενη μέθοδος για την εξαγωγή (δειγματοληψία) ενός τυχαίου διανύσματος x' από την Ν-διάστατη πολυδιάστατη κανονική κατανομή με μέσο διάνυσμα μ' και πίνακα συνδιακύμανσης Σ λειτουργεί ως εξής:

1. Βρείτε κάθε πραγματικό πίνακα A τέτοιο ώστε AA^T = Σ. Όταν το Σ είναι θετικά ορισμένο, χρησιμοποιείται συνήθως η ανάλυση Χολέσκι, και η εκτεταμένη μορφή αυτής της αποσύνθεσης μπορεί πάντα να χρησιμοποιηθεί (καθώς ο πίνακας συνδιακύμανσης μπορεί να είναι μόνο θετικά ημι-ορισμένος) και στις δύο περιπτώσεις λαμβάνεται ένας κατάλληλος πίνακας A. Μια εναλλακτική λύση είναι η χρήση του πίνακα A = UΛ^1/2 που προκύπτει από τη φασματική αποσύνθεση Σ = UΛU⁻¹ of Σ. Η πρώτη προσέγγιση είναι πιο απλή υπολογιστικά, αλλά οι πίνακες Α αλλάζουν για διαφορετικές διατάξεις των στοιχείων του τυχαίου διανύσματος, ενώ η δεύτερη προσέγγιση δίνει πίνακες που σχετίζονται με απλές αναδιατάξεις. Θεωρητικά και οι δύο προσεγγίσεις δίνουν εξίσου καλούς τρόπους προσδιορισμού ενός κατάλληλου πίνακα A, αλλά υπάρχουν διαφορές στον υπολογιστικό χρόνο.
2. Έστω z = (z₁, ..., z_N)^T ένα διάνυσμα του οποίου οι συνιστώσες είναι N ανεξάρτητες τυπικές κανονικές μεταβλητές (οι οποίες μπορούν να παραχθούν, για παράδειγμα, με τη χρήση του μετασχηματισμού Μποξ-Μίλερ).
3. Έστω x be μ + Az. Η επιθυμητή κατανομή λαμβάνεται χρησιμοποιώντας την ιδιότητα του αφινικού μετασχηματισμού.

Εξωτερικοί σύνδεσμοι

• English - Greek Dictionary of Pure and Applied Mathematics Εθνικό Μετσόβιο Πολυτεχνείο
• Αγγλοελληνικό Λεξικό Μαθηματικής Ορολογίας - Πανεπιστήμιο Κύπρου
• Ευκλείδεια Γεωμετρία - Πανελλήνιο Σχολικό Δίκτυο
• Θεωρία ομάδων και Λι αλγεβρών -Εθνικό Αρχείο Διδακτορικών Διατριβών
• Θεωρία Αριθμών και Εφαρμογές
• Υπολογιστική Θεωρία Αριθμών Αρχειοθετήθηκε 2025-06-01 στο Wayback Machine.
• Καμπυλότητες και γεωμετρία του Riemann σε διαφορίσιμες πολλαπλότητες Εθνικό Αρχείο Διδακτορικών Διατριβών

Δείτε επίσης

• Θεωρία αριθμών
• Αλγεβρική θεωρία αριθμών
• Επιστήμες συμπεριφοράς
• Αλγεβρική θεωρία αριθμών
• Διαφορική γεωμετρία
• Γεωμετρική τοπολογία
• Φυσικές επιστήμες
• Καρτεσιανό σύστημα συντεταγμένων
• Ευκλείδειος χώρος
• Ντάνιελ Γκόρενσταϊν
• Στατιστική μέθοδος
• Εφαρμοσμένα μαθηματικά
• Τοπολογικός χώρος
• Διακριτός μετασχηματισμός Φουριέ
• Θεμελιώδες θεώρημα αριθμητικής
• Αλγεβρική γεωμετρία
• Μιγαδικός αριθμός
• Δισδιάστατος χώρος

Βιβλιογραφία

• Tong, Y. L. (6 Δεκεμβρίου 2012). The Multivariate Normal Distribution. Springer Science & Business Media. ISBN 978-1-4613-9655-0. 
• Pham-gia, Thu (5 Μαΐου 2021). Multivariate Normal Distribution, The: Theory And Applications. World Scientific. ISBN 978-981-12-3530-6. 
• Tong, Y. L. (10 Ιουλίου 2014). Probability Inequalities in Multivariate Distributions. Academic Press. ISBN 978-1-4832-6921-4. 
• Genz, Alan· Bretz, Frank (9 Ιουλίου 2009). Computation of Multivariate Normal and t Probabilities. Springer Science & Business Media. ISBN 978-3-642-01689-9. 
• Kotz, Samuel· Balakrishnan, Narayanaswamy (17 Ιανουαρίου 2019). Continuous Multivariate Distributions, Volume 1: Models and Applications. John Wiley & Sons. ISBN 978-0-471-18387-7. 
• Muirhead, Robb J. (25 Σεπτεμβρίου 2009). Aspects of Multivariate Statistical Theory. John Wiley & Sons. ISBN 978-0-470-31670-2. 
• Tijms, Henk (26 Ιουλίου 2007). Understanding Probability: Chance Rules in Everyday Life. Cambridge University Press. ISBN 978-1-139-46545-8. 
• Ishwaran, Hemant (31 Μαρτίου 2025). Multivariate Statistics: Classical Foundations and ModernMachine Learning. CRC Press. ISBN 978-1-040-31205-6. 
• Kotz, Samuel· Nadarajah, Saralees (16 Φεβρουαρίου 2004). Multivariate T-Distributions and Their Applications. Cambridge University Press. ISBN 978-0-521-82654-9. 
• Flury, Bernhard (15 Αυγούστου 1997). A First Course in Multivariate Statistics. Springer Science & Business Media. ISBN 978-0-387-98206-9. 

Πηγές

• Apostol, Thomas M. (1976), Introduction to Analytic Number Theory, New York: Springer, ISBN 0-387-90163-9, https://archive.org/details/introductiontoan00apos_0 
• Conway, John Horton; Guy, Richard K. (1996), The Book of Numbers, New York: Copernicus, ISBN 978-0-387-97993-9 
• Crandall, Richard; Pomerance, Carl (2005), Prime Numbers: A Computational Perspective (2nd έκδοση), Berlin, New York: Springer-Verlag, ISBN 978-0-387-25282-7 
• Singer, I. M.· Thorpe, J. A. (28 Μαΐου 2015). Lecture Notes on Elementary Topology and Geometry. Springer. ISBN 978-1-4615-7347-0. 
• Apostol, Tom M. (29 Ιουνίου 2013). Introduction to Analytic Number Theory. Springer Science & Business Media. ISBN 978-1-4757-5579-4. 
• Miller, P. D. (2006), Applied Asymptotic Analysis, American Mathematical Society, ISBN 9780821840788, https://books.google.com/books?id=KQvqBwAAQBAJ 
• Apostol, Thomas M. (1976), Introduction to Analytic Number Theory, New York: Springer, ISBN 0-387-90163-9, https://archive.org/details/introductiontoan00apos_0