Συμπέρασμα του Μπέυζ

Το Συμπέρασμα του Μπέυζ είναι μια μέθοδος στη στατιστική συμπερασματολογία στην οποία ο κανόνας του Μπέυζ χρησιμοποιείται για να αναβαθμίσει την πιθανότητα για την υπόθεση αφού η απόδειξη αποκτιέται. Το συμπέρασμα του Μπέυζ είναι αρκετά σημαντικό για τη Στατιστική, και συγκεκριμένα για τη μαθηματική στατιστική. Η αναβάθμιση του Μπέυζ είναι αρκετά σημαντική στην Δυναμική Ανάλυση Ακολουθίας Δεδομένων. Το συμπέρασμα του Μπέυζ εφαρμόζεται σε ένα μεγάλο εύρος δραστηριοτήτων, συμπεριλαμβανομένου της επιστήμης,της μηχανικής, της φιλοσοφίας, της φαρμακευτικής, και της νομικής. Στη Θεωρία αποφάσεων στη φιλοσοφία, το συμπέρασμα του Μπέυζ σχετίζεται αρκετά με την αντικειμενική πιθανότητα, και συχνά αποκαλούμενη πιθανότητα κατά Μπέυζ. Η Πιθανότητα κατά Μπέυζ παρέχει μια λογική μέθοδο για αναβάθμιση του διαστήματος εμπιστοσύνης.

Εισαγωγή του Μπεϋζιανού Κανόνα[Επεξεργασία | επεξεργασία κώδικα]

Επίσημα[Επεξεργασία | επεξεργασία κώδικα]

Το συμπέρασμα του Μπέυζ προέρχεται από την εκ των υστέρων πιθανότητα ως μια συνέπεια δύο προηγούμενων παραγόντων, έναν αυτού της προηγούμενης πιθανότητας και έναν αυτού της συνάρτησης πιθανότητας" που προέρχονται από ένα στατιστικό μοντέλο για τα στοιχεία που παρατηρούμε. Το συμπέρασμα που Μπέυζ υπολογίζει την προηγούμενη πιθανότητα σύμφωνα με το θεώρημα του Μπέυζ:

P(H\mid E)={\frac {P(E\mid H)\cdot P(H)}{P(E)}}

όπου:

$\textstyle \mid$ δηλώνει δεσμευμένη πιθανότητα; πιο συγκεκριμένα, δοθείσα.
Η $\textstyle H$ χαρακτηρίζεται ως υπόθεση του οποίου η πιθανότητα μπορεί να είναι επηρεασμένη από στοιχεία. Συχνά υπάρχουν και άλλες "ανταγωνιστικές" πιθανότητες, από τις οποίες κάποιος πρέπει να επιλέξει την πιο πιθανή.
Το στοιχείο $\textstyle E$ είναι ένα νέο στοιχείο το οποίο δεν είχε χρησιμοποιηθεί στον υπολογισμό της προηγούμενης πιθανότητας.
$\textstyle P(H)$ , η πρωταρχική πιθανότητα, είναι η πιθανότητα του $\textstyle H$ πριν την παρατήρηση του $\textstyle E$ . Αυτό μας δείχνει ότι οι προηγούμενοι υπολογισμοί για τις πιθανότητες της υπόθεσης είναι σωστοί, πριν καταχωρίσουμε τα συγκεκριμένα στοιχεία.
$\textstyle P(H\mid E)$ , η μεταγενέστερη πιθανότητα, είναι η πιθανότητα του $\textstyle H$ δεδομένου του $\textstyle E$ , δηλαδή, αφού έχει γίνει η παρατήρηση του $\textstyle E$ . Αυτό μας δίνει τι ακριβώς θέλουμε να ξέρουμε: η πιθανότητα της υπόθεσης είναι δοσμένη από τα παρατηρούμενα στοιχεία.
$\textstyle P(E\mid H)$ η πιθανότητα από την παρατήρηση του $\textstyle E$ δεδομένου του $\textstyle H$ . Ως συνάρτηση του $\textstyle E$ με το $\textstyle H$ να είναι σταθερό, ορίζεται να είναι η συνάρτηση πιθανότητας. Η συνάρτηση πιθανότητας δεν πρέπει να συγχέεται με την $\textstyle P(H\mid E)$ ως συνάρτηση του $\textstyle H$ παρά του $\textstyle E$ καθώς αυτή δείχνει την συμβατότητα των στοιχείων της δοσμένης πιθανότητας.
$\textstyle P(E)$ μερικές φορές συναντάται ως περιθωριακή συνάρτηση ή μοντελικά στοιχεία. Αυτός ο παράγοντας είναι ο ίδιος για κάθε θετική υπόθεση η οποία έχει θεωρηθεί. (Μπορεί να παρατηρηθεί από τον παράγοντα ότι η υπόθεση $\textstyle H$ δεν εμφανίζεται πουθενά ως σύμβολο, σε αντίθεση με τους υπολοίπους παράγοντες.) Αυτό σημαίνει ότι ο παράγοντας δεν τίθεται σε καθορισμό των σχετικών πιθανοτήτων των διαφόρων υποθέσεων.

Να σημειωθεί ότι, για διαφορετικές τιμές του $\textstyle H$ , μόνο οι παράγοντες $\textstyle P(H)$ και $\textstyle P(E\mid H)$ επηρεάζουν τις τιμές του $\textstyle P(H\mid E)$ . Αφού και οι δύο αυτοί παράγοντες εμφανίζονται στον αριθμητή, η μεταγενέστερη πιθανότητα είναι εξίσου αναλογική. Με άλλα λόγια:

(πιο συγκεκριμένα) Η μεταγενέστερη πιθανότητα μια υπόθεσης καθορίζεται από έναν συνδυασμό της εγγενούς πιθανότητας μιας υπόθεσης (πρωταρχικής) και η συμβατότητα των παρατηρούμενων αποδεικτικά στοιχείων με την υπόθεση (η συνάρτηση).
(πιο γενικά) Η λέξη μεταγενέστερα είναι αναλογική στην δεδομένη πιθανότητα επί την πρωταρχική πιθανότητα.

Σημειώστε επίσης ότι ο κανόνας του Μπέυς μπορεί επίσης να γραφεί ως ακολούθως:

P(H\mid E)={\frac {P(E\mid H)}{P(E)}}\cdot P(H)

όπου η μεταβλητή $\textstyle {\frac {P(E\mid H)}{P(E)}}$ παρουσιάζει το αντίκτυπο του $E$ στην πιθανότητα του $H$ .

Ανεπίσημα[Επεξεργασία | επεξεργασία κώδικα]

Εάν η απόδειξη δεν ταιριάζει με την υπόθεση, τότε απορρίπτεται η υπόθεση. Ωστόσο αν η υπόθεση είναι εξαιρετικά απίθανη, απορρίπτεται, ακόμα και αν τα στοιχεία δείχνουν να ταιριάζουν.

Για παράδειγμα, έστω ότι υπάρχει ποικιλία υποθέσεων για την φύση ενός νεογέννητου μωρού ενός φίλου, η οποία περιέχει:

$\textstyle H_{1}$ : το μωρό είναι καστανό αγόρι.
$\textstyle H_{2}$ : το μωρό είναι ξανθό κορίτσι.
$\textstyle H_{3}$ :το μωρό είναι σκύλος.

Έστω ότι υπάρχουν 2 πιθανά σενάρια:

Παρουσιάζονται αποδείξεις με την μορφή φωτογραφίας ενός ξανθού κοριτσιού μωρού. Αυτή τα στοιχεία υποστηρίζει την $\textstyle H_{2}$ και έρχονται σε αντίθεση με τις $\textstyle H_{1}$ και $\textstyle H_{3}$ .
Παρουσιάζονται στοιχεία με την μορφή φωτογραφίας ενός μωρού σκυλιού. Ωστόσο αυτά τα στοιχεία όταν αντιμετωπίζονται μεμονωμένα, υποστηρίζουν την $\textstyle H_{3}$ , όμως επειδή η $\textstyle H_{3}$ ως υπόθεση είναι απίστευτα μικρή, η μεταγενέστερη πιθανότητα είναι μικρή.

Το κρίσιμο σημείο του Συμπεράσματος του Μπέυζ, λοιπόν είναι ότι παρέχει συγκεκριμένο τρόπο να συνδυάζονται νέα στοιχεία με προηγούμενα δεδομένα μέσω της εφαρμογής του κανόνα του Μπέυζ. (Σε αντίθεση με το συμπέρασμα της συχνότητας, το οποίο βασίζεται μόνο στα στοιχεία που δίνονται ως ολότητα, χωρίς αναφορά στα ήδη υπάρχοντα δεδομένα). Επιπλέον ο κανόνας του Μπέυζ μπορεί να εφαρμοστεί επαναληπτικά: μετά τη παρατήρηση μερικών στοιχείων η μεταγενέστερη πιθανότητα που προκύπτει να μπορεί να χρησιμοποιηθεί ως μια προηγούμενη πιθανότητα και η νέα μεταγενέστερη πιθανότητα υπολογίζεται από τα νέα στοιχεία. Αυτό επιτρέπει τις αρχές του Μπέυζ να εφαρμοστούν σε πληθώρα διαφορετικών στοιχείων, είτε βλέποντας τα όλα μαζί είτε χώρια. Αυτή η διαδικασία ορίζεται ως ανανέωση του Μπέυζ.

Αναβάθμιση του Μπέυζ[Επεξεργασία | επεξεργασία κώδικα]

Η ανανέωση του Μπέυζ χρησιμοποιείται ευρέως και είναι υπολογιστικά βολική. Ωστόσο, δεν είναι ο μόνος ανανεωτικός κανόνας που μπορεί να θεωρηθεί ως "λογικός"

Ο Ian Hacking επισήμανε ότι τα παραδοσιακά επιχειρήματα του δεν καθόρισαν την αναβάθμιση του Μπέυζ: άφησαν ανοιχτή την πιθανότητα ότι οι μη-αναβαθμισμένοι κανόνες του Μπέυζ μπορούσαν να αποφύγουν τo Dutch Book. Ο Ian Hacking έγραψε^[1] "Ούτε τα επιχειρήματα του Dutch book, ούτε κανένα άλλο αξίωμα πιθανοτήτων στην περσοναλιστική "αποθήκη" των στοιχείων συνεπάγεται την δυναμική υπόθεση. Κανένα δε συνεπάγεται τον Μπευζιανισμό. Ο περσοναλισμός προϋποθέτει τη δυναμική υπόθεση για να γίνει Μπευζιστικός.

Όντως υπάρχουν μη-Μπευζιανοί κανόνες ανανέωσης του οι οποίοι επίσης αποφεύγουν το Dutch Book, όπως αναφέρεται στα βιβλία που ασχολούνται με την κινηματική πιθανότητα και στη δημοσίευση των κανόνων του Richard C. Jeffrey που προσαρμόζει τους κανόνες του Μπέυζ στην περίπτωση όπου τα στοιχεία αυτά καθ'αυτά έχουν εκχωρηθεί ως πιθανότητα.

Επίσημη περιγραφή του συμπεράσματος του Μπέυζ[Επεξεργασία | επεξεργασία κώδικα]

Ορισμοί[Επεξεργασία | επεξεργασία κώδικα]

$x$ , ένα σημείο. Στην ουσία αυτό μπορεί να είναι διάνυσμα τιμών.
$\theta$ , η παράμετρος της κατανομής τοθ σημείου i.e., $x\sim p(x\mid \theta )$ το οποίο μπορεί στην πραγματικότητα να είναι ένα διάνυσμα δεδομένων.
$\alpha$ , η υπερπαράμετρος της παραμέτρου, $\theta \sim p(\theta \mid \alpha )$ αυτό μπορεί να είναι διάνυσμα υπερπαραμέτρων.
$\mathbf {X}$ , ένα σύνολο $n$ παρατηρήσιμων στοιχείων, $x_{1},\ldots ,x_{n}$ .
${\tilde {x}}$ , ένα καινούργιο σημείο του οποίου η κατανομή μέλλεται να προβλεφθεί.

Συμπέρασμα του Μπέυζ[Επεξεργασία | επεξεργασία κώδικα]

Η προηγούμενη κατανομή είναι η κατανομή των παραμέτρων πριν παρατηρηθούν τα στοιχεία $p(\theta \mid \alpha )$ .
Η προηγούμενη κατανομή μπορεί να μην καθορίζεται εύκολα. Σε αυτή την περίπτωση, μπορούμε να χρησιμοποιήσουμε το πρωταρχικό του Jeffrey για να αποκτήσουμε τη μεταγενέστερη κατανομή πριν να ανανεώσουμε τα στοιχεία με νεώτερες παρατηρήσεις.
Η Δειγματική Κατανομή είναι η κατανομή από τα παρατηρημένα στοιχεία εξαρτώμενα από τις παραμέτρους τους $p(\mathbf {X} \mid \theta )$ . Αυτό επίσης καθορίζει μια συνάρτηση (likelihood), ειδικότερα όταν παρουσιάζεται ως συνάρτηση παραμέτρων, μερικές φορές γραμμένη $\operatorname {L} (\theta \mid \mathbf {X} )=p(\mathbf {X} \mid \theta )$ .
Η περιθωριακή συνάρτηση είναι η κατανομή των παρατηρούμενων στοιχείων τα οποία περιθωριοποιούνται από τις παραμέτρους $p(\mathbf {X} \mid \alpha )=\int _{\theta }p(\mathbf {X} \mid \theta )p(\theta \mid \alpha )\operatorname {d} \!\theta$ .
Η μεταγενέστερη κατανομή είναι η κατανομή των παραμέτρων, αφού ληφθούν τα παρατηρούμενα στοιχεία. Αυτό έχει καθοριστεί από τον κανόνα του Μπέυζ, ο οποίος είναι η βάση του συμπεράσματος του Μπέυζ:

$p(\theta \mid \mathbf {X} ,\alpha )={\frac {p(\mathbf {X} \mid \theta )p(\theta \mid \alpha )}{p(\mathbf {X} \mid \alpha )}}\propto p(\mathbf {X} \mid \theta )p(\theta \mid \alpha )$ .

Πρόβλεψη κατά Μπέυζ[Επεξεργασία | επεξεργασία κώδικα]

Η μεταγενέστερη προβλεπόμενη κατανομή είναι η κατανομή των καινούργιων στοιχείων περιθωριοποιημένα πάνω από την προγενέστερη:

$p({\tilde {x}}\mid \mathbf {X} ,\alpha )=\int _{\theta }p({\tilde {x}}\mid \theta )p(\theta \mid \mathbf {X} ,\alpha )\operatorname {d} \!\theta$

Η πρωταρχική προβλεπόμενη κατανομή είναι η κατανομή των καινούργιων στοιχείων περιθωριοποιημένα πάνω από την πρωταρχική $p({\tilde {x}}\mid \alpha )=\int _{\theta }p({\tilde {x}}\mid \theta )p(\theta \mid \alpha )\operatorname {d} \!\theta$ .

Το θεώρημα του Μπέυζ χρησιμοποιείται από την μεταγενέστερη προβλεπόμενη κατανομή για να κάνει προβλεπόμενη συμπερασματολογία δηλαδή για να προβλέπει την κατανομή νέων στοιχείων που δεν έχουν παρατηρηθεί. Αυτή είναι όχι μια πρόβλεψη σταθερών σημείων αλλά μια κατανομή πιθανών σημείων. Μόνο με αυτόν τον τρόπο μπορεί να χρησιμοποιηθεί η πρωταρχική κατανομή παραμέτρων. Αν την συγκρίνουμε με τη στατιστική συχνότητα η πρόβλεψη στην στατιστική συχνότητα, συχνά περιλαμβάνει την εύρεση ενός βέλτιστου σημείου εκτίμησης παραμέτρων -Για παράδειγμα Μέγιστη Συνάρτηση ή από την μέγιστη πρωταρχική εκτίμηση- συνδέοντας αυτή την εκτίμηση στην φόρμουλα για την κατανόηση των σημείων. Αυτό έχει ένα μειονέκτημα, ότι δεν υπολογίζει κάθε αβέβαιη τιμή της παραμέτρου και ως εκ τούτου θα υποτιμήσει τη διακύμανση της προβλεπόμενης κατανομής.

(Σε κάποιες περιπτώσεις η στατιστική συχνοτήτων μπορεί να λύσει αυτό το πρόβλημα. Για παράδειγμα τα διαστήματα εμπιστοσύνης και διαστήματα πρόβλεψης, στη στατιστική συχνοτήτων, όταν κατασκευάζονται από μία κανονική κατανομή με άγνωστες τη μέση τιμή και τη διακύμανση κατασκευάζονται χρησιμοποιώντας κατανομή Student's t. Αυτή εκτιμά σωστά η διακύμανση εξαιτίας του γεγονότος ότι (1) ο μέσος όρος των κανονικά κατανεμημένων τυχαίων μεταβλητών είναι επίσης κανονικά κατανεμημένος και (2) η προβλεπόμενη κατανομή των κανονικά κατανεμημένων στοιχείων, με άγνωστη μέση τιμή και διακύμανση, έχει κατανομή Student's t. Στη στατιστική του Μπέυζ, ωστόσο η μεταγενέστερη προβλεπόμενη κατανομή, μπορεί πάντα να καθοριστεί επ' ακριβώς-ή τουλάχιστον σε ένα ικανοποιητικό επίπεδο ακρίβειας, όταν χρησιμοποιούνται αριθμητικές μέθοδοι.)

Ας σημειωθεί ότι και οι δύο τύποι προβλεπόμενων κατανομών έχουν τη μορφή μίας κατανομής πιθανοτήτων ένωσης. Στην πραγματικότητα εάν η πρωταρχική κατανομή είναι πρωταρχικό συζυγές, τότε οι πρωταρχικές και οι μεταγενέστερες κατανομές είναι από την ίδια οικογένεια. Μπορεί εύκολα να διαπιστωθεί ότι και οι πρωταρχικές και οι μεταγενέστερες προβλεπόμενες κατανομές είναι από την ίδια οικογένεια ένωσης κατανομών. Η μόνη διαφορά είναι ότι η μεταγενέστερη προβλεπόμενη κατανομή χρησιμοποιεί τις ανανεωμένες τιμές από τις υπερπαραμέτρους, ενώ η πρωταρχική προβλεπόμενη κατανομή χρησιμοποιεί τιμές από τις υπερπαραμέτρους που εμφανίζονται στην πρωταρχική κατανομή.

Συμπερασματολογία σε αποκλειστικές και αναλυτικές πιθανότητες[Επεξεργασία | επεξεργασία κώδικα]

Εάν τα στοιχεία χρησιμοποιούνται συνεχώς για την αναβάθμιση των γεγονότων πάνω σε ένα σύνολο αναλυμένων προτάσεων το συμπέρασμα του Μπέυζ μπορεί να θεωρηθεί ως πράξη στα δεδομένα αυτά σαν ολότητα.

Γενική Μορφοποίηση[Επεξεργασία | επεξεργασία κώδικα]

Έστω μια διαδικασία, η οποία παράγει ανεξάρτητα και όμοια γεγονότα $E_{n}$ ,αλλά η κατανομή πιθανότητας είναι άγνωστη. Έστω δειγματοχώρος $\Omega$ , ο οποίος αντιπροσωπεύει την υπάρχουσα κατάσταση των γεγονότων γι αυτή τη διαδικασία. Κάθε μοντέλο παρουσιάζεται από το γεγονός $M_{m}$ . Οι δεσμευμένες πιθανότητες $P(E_{n}\mid M_{m})$ καθορίζονται για να ορίσουν τα μοντέλα $P(M_{m})$ . Πριν από το πρώτο βήμα συμπεράσματος, $\{P(M_{m})\}$ είναι το σύνολο των αρχικών πρωταρχικών πιθανοτήτων. Αυτά πρέπει να αθροίζουνε στο 1, αλλιώς είναι αυθαίρετα.

Έστω αυτή η διαδικασία παρατηρείται για να κατασκευάσει $\textstyle E\in \{E_{n}\}$ . Για κάθε $M\in \{M_{m}\}$ , το πρωταρχικό $P(M)$ είναι ανανεωμένο στο μεταγενέστερο $P(M\mid E)$ . Από το θεώρημα του Μπέυζ: ^[2]

P(M\mid E)={\frac {P(E\mid M)}{\sum _{m}{P(E\mid M_{m})P(M_{m})}}}\cdot P(M)

Για να γίνει παρατήρηση περισσοτέρων στοιχείων μπορεί να επαναληφθεί.

Πολλαπλές Παρατηρήσεις[Επεξεργασία | επεξεργασία κώδικα]

Για ένα σύνολο ανεξάρτητων και όμοια κατανεμημένων παρατηρήσεων $\mathbf {E} =\{e_{1},\dots ,e_{n}\}$ , μπορεί να δειχθεί ότι η επανειλημμένη εφαρμογή των παραπάνω είναι ίση με

P(M\mid \mathbf {E} )={\frac {P(\mathbf {E} \mid M)}{\sum _{m}{P(\mathbf {E} \mid M_{m})P(M_{m})}}}\cdot P(M)

Όπου

P(\mathbf {E} \mid M)=\prod _{k}{P(e_{k}\mid M)}.

Αυτό μπορεί να χρησιμοποιηθεί για την βελτιστοποίηση πρακτικών υπολογισμών.

Παραμετρική Μορφοποίηση[Επεξεργασία | επεξεργασία κώδικα]

Παραμετρικοποιώντας το χώρο των μοντέλων , τα δεδομένα σε όλα τα μοντέλα μπορούν να ανανεωθούν σε ένα και μόνο βήμα. Η κατανομή των δεδομένων πάνω στο χώρο των μοντέλων μπορεί να θεωρηθεί, τότε, ως κατανομή των δεδομένων πάνω στο χώρο των παραμέτρων. Οι κατανομές σ' αυτό το κεφάλαιο θεωρούνται συνεχείς κι ότι εκπροσωπούνται από πυκνότητες πιθανότητας σαν να ήταν μία συνήθης περίπτωση. Αυτή η τεχνική όμως εφαρμόζεται εξίσου σε διακριτές κατανομές.

Έστω ότι το δίανυσμα $\mathbf {\theta }$ καλύπτει το χώρο των παραμέτρων. Έστω η αρχική πρωταρχική κατανομή πάνω στο $\mathbf {\theta }$ είναι $p(\mathbf {\theta } \mid \mathbf {\alpha } )$ , όπου $\mathbf {\alpha }$ είναι ένα σύνολο παραμέτρων στο πρωταρχικό αυτό καθ' αυτό, ή στις υπερπαραμέτρους. Έστω $\mathbf {E} =\{e_{1},\dots ,e_{n}\}$ είναι ένα σύνολο ανεξάρτητων και όμοια κατανεμημένων γεγονότων παρατήρησης, όπου όλα $e_{i}$ είναι κατανεμημένα σύμφωνα με $p(e\mid \mathbf {\theta } )$ για κάποιο $\mathbf {\theta }$ . θεώρημα του Μπέυζ εφαρμόζεται για να βρούμε τη μεταγενέστερη κατανομή πάνω στο $\mathbf {\theta }$ :

${\begin{aligned}p(\mathbf {\theta } \mid \mathbf {E} ,\mathbf {\alpha } )&={\frac {p(\mathbf {E} \mid \mathbf {\theta } ,\mathbf {\alpha } )}{p(\mathbf {E} \mid \mathbf {\alpha } )}}\cdot p(\mathbf {\theta } \mid \mathbf {\alpha } )\\&={\frac {p(\mathbf {E} \mid \mathbf {\theta } ,\mathbf {\alpha } )}{\int _{\mathbf {\theta } }p(\mathbf {E} |\mathbf {\theta } ,\mathbf {\alpha } )p(\mathbf {\theta } \mid \mathbf {\alpha } )\,d\mathbf {\theta } }}\cdot p(\mathbf {\theta } \mid \mathbf {\alpha } )\end{aligned}}$

Όπου

p(\mathbf {E} \mid \mathbf {\theta } ,\mathbf {\alpha } )=\prod _{k}p(e_{k}\mid \mathbf {\theta } )

Παραπομπές[Επεξεργασία | επεξεργασία κώδικα]

↑ Hacking (1967, Section 3, p. 316), Hacking (1988, p. 124)
↑ Gelman, Andrew; Carlin, John B.; Stern, Hal S.; Dunson, David B.;Vehtari, Aki; Rubin, Donald B. (2013). Bayesian Data Analysis, Third Edition. Chapman and Hall/CRC. ISBN 978-1-4398-4095-5.

[1] Hacking (1967, Section 3, p. 316), Hacking (1988, p. 124)

[2] Gelman, Andrew; Carlin, John B.; Stern, Hal S.; Dunson, David B.;Vehtari, Aki; Rubin, Donald B. (2013). Bayesian Data Analysis, Third Edition. Chapman and Hall/CRC. ISBN 978-1-4398-4095-5.

[1]

[2]