Μέγιστη πιθανοφάνεια

Από τη Βικιπαίδεια, την ελεύθερη εγκυκλοπαίδεια
Πήδηση στην πλοήγηση Πήδηση στην αναζήτηση

Στις στατιστικές, η εκτίμηση μέγιστης πιθανοφάνειας (ΕΜΠ) είναι μια μέθοδος για την εκτίμηση των παραμέτρων από ένα στατιστικό μοντέλο δεδομένων.

Η μέθοδος της μέγιστης πιθανοφάνειας αντιστοιχεί σε πολλές γνωστές μεθόδους εκτίμησης της στατιστικής. Για παράδειγμα,μία από αυτές μπορεί να ενδιαφέρεται για τα ύψη των ενήλικων θηλυκών πιγκουίνων, αλλά δεν είναι σε θέση να μετρήσει το ύψος του κάθε πιγκουίνου σε ένα πληθυσμό λόγω των περιορισμών του κόστους ή του χρόνου. Αν υποτεθεί ότι τα ύψη ανήκουν στην Κανονική κατανομή με κάποιο άγνωστο, μέση τιμή και Διακύμανση, η μέση τιμή και η διακύμανση μπορεί να εκτιμηθεί με ΕΜΠ ενώ μόνο γνωρίζοντας τα ύψη από κάποιο δείγμα του συνολικού πληθυσμού. Η ΕΜΠ θα το πετύχει αυτό, λαμβάνοντας την μέση τιμή και η διακύμανση ως παραμέτρους και βρίσκοντας ειδικότερες παραμετρικές τιμές που κάνουν τα παρατηρούμενα αποτελέσματα το πιο πιθανό δεδομένου του μοντέλου.

Σε γενικές γραμμές, για ένα σταθερό σύνολο των δεδομένων και των υποκείμενων στατιστικών μοντέλων, η μέθοδος της μέγιστης πιθανοφάνειας επιλέγει το σύνολο των τιμών των παραμέτρων του μοντέλου που μεγιστοποιεί την συνάρτηση πιθανότητας. Διαισθητικά, αυτό μεγιστοποιεί την "συμφωνία" από το επιλεγμένο μοντέλο με τα παρατηρούμενα δεδομένα, και για διακριτές τυχαίες μεταβλητές πραγματικά μεγιστοποιεί την πιθανότητα των παρατηρούμενων δεδομένων σύμφωνα με την τελική κατανομή. Η εκτίμηση μέγιστης πιθανοφάνειας δίνει μια ενιαία προσέγγιση για την εκτίμηση, η οποία είναι καλά ορισμένη στην περίπτωση της κανονικής κατανομής και πολλά άλλα προβλήματα.

Ιστορία[Επεξεργασία | επεξεργασία κώδικα]

Ο Ρόναλντ Φίσερ στο 1913

Η εκτίμηση μέγιστης πιθανοφάνειας είχε προταθεί, αναλυθεί (με άκαρπες προσπάθειες αποδείξεις) και ευρέως διαδωθεί από τον Ρόναλντ Φίσερ μεταξύ 1912 και 1922[1] (αν και είχε χρησιμοποιηθεί νωρίτερα από τους Καρλ Φρίντριχ Γκάους, Πιερ Σιμόν Λαπλάς, Thorvald N Εσένα,Φράνσις Ισίντρο Έτζγουορθ).[2] Περιλήψεις για την ανάπτυξη της μέγιστης πιθανοφάνειας έχουν παρασχεθεί από έναν αριθμό συγγραφέων.[3]

Μερικά τμήματα από τη θεωρία εκτίμηση μέγιστης πιθανοφάνειας αναπτύχθηκαν για Στατιστική Baynes.[1]

Αρχές[Επεξεργασία | επεξεργασία κώδικα]

Ας υποθέσουμε ότι υπάρχει ένα δείγμα x1, x2, ..., xn από n ανεξάρτητες και ταυτόσημα κατανεμημένες παρατηρήσεις, που προέρχονται από μια κατανομή με άγνωστη συνάρτηση πυκνότητας πιθανότητας f0(·). Ωστόσο εικάζεται ότι η συνάρτηση f0 ανήκει σε μια συγκεκριμένη οικογένεια κατανομών { f(·| θ), θ ∈ Θ } (όπου θ είναι φορέας των παραμέτρων για αυτή την οικογένεια), που ονομάζεται παραμετρικό μοντέλο, έτσι ώστε f0 = f(·| θ0). Η τιμή θ0 είναι άγνωστη και αναφέρεται ως η πραγματική τιμή του φορέα της παραμέτρου. Είναι επιθυμητό να βρεθεί ένας εκτιμητής  που θα είναι όσο πιο κοντά γίνετε στην πραγματική τιμή θ0. Είτε μία από αυτές είτε και οι δύο οι παρατηρούμενες μεταβλητές xi και η παράμετρος θ μπορεί να είναι φορείς.

Για να χρησιμοποιήσετε τη μέθοδο της μεγίστης πιθανοφάνειας, πρώτα καθορίζεται η από κοινού συνάρτηση πυκνότητας για όλες τις παρατηρήσεις. Για ενα ανεξάρτητο και ισόνομα κατανεμημένο δείγμα, αυτή η κοινή συνάρτηση πυκνότητας είναι

Τώρα κοιτάμε αυτή τη λειτουργία από μια διαφορετική προοπτική, λαμβάνοντας υπόψη τις παρατηρηθείσες τιμές x1, x2, ..., xn να είναι σταθεροί "παράμετροι" της λειτουργίας αυτής, όπου θ θα είναι η μεταβλητή της συνάρτησης και μπορεί να κυμαίνεται ελεύθερα· αυτή η λειτουργία θα ονομάζεται η πιθανοφάνεια:

Σημειώστε ότι το " " υποδηλώνει ένα διαχωρισμό μεταξύ των δύο ορισμάτων: και των παρατηρήσεων .

Στην πράξη, είναι συχνά πιο βολικό να συνεργαστεί με το λογάριθμο της συνάρτησης της πιθανοφάνειας, που ονομάζεται λογαριθμική-πιθανοφάνεια:

ή μέση λογαριθμική-πιθανοφάνεια:

Το καπέλο πάνω από το ℓ δείχνει ότι είναι παρόμοιο με κάποιο εκτιμητή. Πράγματι,το  αντιπροσωπεύει την αναμενόμενη λογαριθμική-πιθανοφάνεια σε μία μόνο παρατήρηση στο μοντέλο.

Η μέθοδος της μέγιστης πιθανοφάνειας θ0 ,εκτιμάτε βρίσκοντας μια τιμή του θ που μεγιστοποιεί το . Αυτή η μέθοδος εκτίμησης ορίζει τον εκτιμητή μέγιστης πιθανοφάνειας (ΕΜΠ) του θ0:

αν υπάρχει η μέγιστη. Μια ΕΜΠ εκτίμηση είναι η ίδια, ανεξάρτητα από το αν θα μεγιστοποιήσει την πιθανοφάνεια ή την συνάρτηση της λογαριθμικής πιθανοφάνειας, μιας και ο λογάριθμος είναι μονοτονικά αυξανόμενη συνάρτηση.

Για πολλά μοντέλα, ο εκτιμητής της μέγιστης πιθανοφάνειας μπορεί να βρεθεί ως μια ρητή συνάρτηση με τα δεδομένα παρατηρήσεων x1, ..., xn. Για πολλά άλλα μοντέλα, ωστόσο, καμία κλειστή μορφή λύσης για τη μεγιστοποίηση του προβλήματος είναι γνωστή ή διαθέσιμη, και μια ΕΜΠ πρέπει να βρεθεί αριθμητικά χρησιμοποιώντας βελτιστοποίηση μεθόδων. Για κάποια προβλήματα, μπορεί να υπάρχουν πολλές εκτιμήσεις που μεγιστοποιούν την πιθανοφάνεια. Για άλλα προβλήματα, δεν υπάρχει καμία εκτίμηση μέγιστης πιθανοφάνειας  (με την έννοια ότι η συνάρτηση της λογαριθμικής πιθανοφάνειας αυξάνεται χωρίς την χρήση του supremum ).

Στην παραπάνω έκθεση , θεωρείται ότι τα δεδομένα είναι ανεξάρτητα και ισόνομα κατανεμημένα. Η μέθοδος μπορεί να εφαρμοστεί, ωστόσο, σε ένα ευρύτερο πλαίσιο, όσο είναι δυνατόν να γράψετε την από κοινού συνάρτηση πυκνότητας f(x1, ..., xn | θ), και οι παράμετροι θ έχουν πεπερασμένη διάσταση, η οποία δεν εξαρτάται από το μέγεθος του δείγματος n. Σε μια πιο απλή επέκταση, ένα επίδομα μπορεί να γίνει για τα δεδομένα ετερογένεια, ώστε η κοινή πυκνότητα να είναι ίση με f1(x1 | θ) · f2(x2|θ) · ··· · fn(xn | θ). Με άλλα λόγια, υποθέτουμε τώρα ότι κάθε παρατήρηση xi προέρχεται από μια τυχαία μεταβλητή που έχει τη δική της συνάρτηση κατανομής f i . Στην πιο περίπλοκη περίπτωση των μοντέλων χρονοσειρών , η υπόθεση της ανεξαρτησίας μπορεί επίσης να πέσει.

Ένας εκτιμητής μέγιστης πιθανοφάνειας συμπίπτει με τον πιο πιθανό εκτιμητή Bayes έχοντας δοθεί μια συνεχής διανομή των παραμέτρων. Πράγματι, η μέγιστη εκ των υστέρων εκτίμηση της παραμέτρου θ που μεγιστοποιεί την πιθανότητα της θ δοσμένα στοιχεία, που δίνονται από Bayes θεώρημα:

οπού είναι η προηγούμενη διανομή της παραμέτρου θ και  είναι η πιθανότητα των δεδομένων κατά μέσο όρο πάνω από όλες τις παραμέτρους. Αφού ο παρονομαστής είναι ανεξάρτητο του θ, ο εκτιμητής Bayes προκύπτει από τη μεγιστοποίηση της όσον αφορά το θ. Αν υποθέσουμε ότι η προηγούμενη είναι μια ομοιόμορφη κατανομή, ο εκτιμητής Bayes προκύπτει από τη μεγιστοποίηση της συνάρτησης πιθανότητας . Έτσι, ο εκτιμητής Bayes συμπίπτει με τον εκτιμητή μέγιστης πιθανοφάνειας για μία προηγούμενη ομοιόμορφη διανομή .

Ιδιότητες[Επεξεργασία | επεξεργασία κώδικα]

Ένας εκτιμητής μέγιστης πιθανοφάνειας είναι ένα extremum εκτιμητής (minimum ή maximum) που λαμβάνεται με την μεγιστοποίηση, ως συνάρτηση του θ, της αντικειμενικής συνάρτησης (c.f., η λειτουργία απώλειας)

αυτό είναι το δείγμα ανάλογο της αναμενόμενης λογαριθμικής-πιθανοφάνειας , όπου αυτή η προσδοκία έχει ληφθεί με σεβασμό προς την πραγματική πυκνότητα .

Οι εκτιμητές μέγιστης πιθανοφάνειας δεν έχουν βέλτιστες ιδιότητες για πεπερασμένα δείγματα, με την έννοια ότι (όταν αξιολογούνται σε πεπερασμένα δείγματα) άλλα εκτιμητές μπορεί να έχουν μεγαλύτερη συγκέντρωση γύρω από την πραγματική παραμετρική αξία.[4] Ωστόσο, όπως και άλλες μεθόδους εκτίμησης,η εκτίμηση μέγιστης πιθανοφάνειας διαθέτει μια σειρά από ελκυστικές ιδιότητες περιορισμών: Καθώς το μέγεθος του δείγματος αυξάνετε στο άπειρο, ακολουθίες των εκτιμητών μέγιστης πιθανοφάνειας έχουν αυτές τις ιδιότητες:

  • Συνέπεια: η ακολουθία των ΕΜΠ κανόνων συγκλίνει κατά πιθανότητα στην εκτιμώμενη τιμή .
  • Ασυμπτωτική κανονικότητα: καθώς το μέγεθος του δείγματος αυξάνεται, η κατανομή των ΕΜΠ τείνει στην Gaussian κατανομή με μέση και πίνακα συνδιακύμανσης ίσο με το αντίστροφο του πληροφοριακό πίνακα του Φίσερ.
  • Αποδοτικότητα, δηλαδή, επιτυγχάνει το Cramér–Rao κάτω φράγμα , όταν το μέγεθος του δείγματος τείνει στο άπειρο. Αυτό σημαίνει ότι κανένας συνεπής εκτιμητής δεν έχει χαμηλότερη ασυμπτωτική μέσου τετραγωνικού σφάλματος από το ΕΜΠ (ή άλλων εκτιμητών για την επίτευξη αυτού του φράγματος).
  • Δεύτερη σειρά απόδοσης μετά από διόρθωση για την προκατάληψη.

Συνέπεια[Επεξεργασία | επεξεργασία κώδικα]

Υπό τις συνθήκες που περιγράφονται παρακάτω, ο εκτιμητής μέγιστης πιθανοφάνειας είναι συνεπής. Η συνέπεια σημαίνει ότι έχοντας ένα αρκετά μεγάλο αριθμό παρατηρήσεων n, είναι δυνατόν να βρεθεί η τιμή του θ0 με αυθαίρετη ακρίβεια. Σε μαθηματικούς όρους, αυτό σημαίνει ότι καθώς το n τείνει στο άπειρο ο εκτιμητής συγκλίνει πιθανότατα στην πραγματική του τιμή:

Υπό ελαφρώς ισχυρότερη συνθηκών, ο εκτιμητής συγκλίνει σχεδόν σίγουραέντονα):

Για να επιτευχθεί συνέπεια, οι ακόλουθες συνθήκες είναι επαρκή:[5]

Ο όρος κυριαρχία μπορεί να χρησιμοποιηθεί στην περίπτωση των Ανεξάρτητων και πανομοιότυπων κατανεμημένων τυχαία μεταβλητών παρατηρήσεις. Στην περίπτωση των μη-Ανεξάρτητων και πανομοιότυπων κατανεμημένων τυχαία μεταβλητών που η ομοιόμορφη σύγκλιση κατά πιθανότητα μπορεί να ελεγχθεί δείχνοντας ότι η ακολουθία είναι στοχαστική equicontinuity.

Αν κάποιος θέλει να αποδείξει ότι ο εκτιμητής ΜΠ  συγκλίνει στο θ0 σχεδόν σίγουρα, τότε μια ισχυρότερη προϋπόθεση της ομοιόμορφης σύγκλισης, σχεδόν σίγουρα πρέπει να επιβληθεί:

Ασυμπτωτική κανονικότητα[Επεξεργασία | επεξεργασία κώδικα]

Σε ένα ευρύ φάσμα καταστάσεων, η παράμετρος του εκτιμητή της μέγιστης πιθανοφάνειας παρουσιάζει ασυμπτωτική κανονικότητα, δηλαδή είναι ίση με την πραγματική παράμετρο συν ένα τυχαίο σφάλμα, το οποίο είναι περίπου κανονικό (δίνονται επαρκή στοιχεία), και η απόκλιση του σφάλματος διασπάται ως 1/n. Για αυτό το ακίνητο σε αναμονή, είναι απαραίτητο ότι ο εκτιμητής δεν υποφέρει από τα ακόλουθα ζητήματα:

Εκτίμηση όριο[Επεξεργασία | επεξεργασία κώδικα]

Μερικές φορές ο εκτιμητής μέγιστης πιθανοφάνειας βρίσκεται στο όριο από το σύνολο των πιθανών παραμέτρων, ή (αν το όριο δεν , για να κυριολεκτήσουμε, επιτρέπεται) η πιθανότητα γίνεται όλο και μεγαλύτερο καθώς η παράμετρος πλησιάζει το όριο. Η κλασσική ασυμπτωτική θεωρία χρειάζεται την υπόθεση ότι η πραγματική τιμή της παραμέτρου βρίσκεται μακριά από το όριο. Αν έχουμε αρκετά δεδομένα, ο εκτιμητής μέγιστης πιθανοφάνειας θα αποκλίνει από το όριο. Αλλά με μικρότερα δείγματα, η εκτίμηση μπορεί να βρίσκετε στο όριο. Σε τέτοιες περιπτώσεις, η ασυμπτωτική θεωρία σαφώς δεν δίνει μια πρακτικά χρήσιμη προσέγγιση. Παραδείγματα εδώ θα είναι διακύμανση-συστατικά μοντέλα, όπου κάθε συστατικό της διακύμανσης, σ2, πρέπει να πληροί τον περιορισμό σ20.

Τα δεδομένα όρια παράμετρος-εξάρτηση [Επεξεργασία | επεξεργασία κώδικα]

Για να εφαρμοστεί η θεωρία με απλό τρόπο, το σύνολο των δεδομένων αξιών, το οποίο έχει θετική πιθανότητα (ή θετική πιθανότητα πυκνότητας) δεν θα πρέπει να εξαρτάται από την άγνωστη παράμετρος. Ένα απλό παράδειγμα όπου μια τέτοια παράμετρος-εξάρτηση δεν κατέχει είναι η περίπτωση, από την εκτίμηση του θ από ένα σύνολο από ανεξάρτητες και ισόνομα κατανεμημένες όταν η κοινή κατανομή είναι ομοιόμορφη για το εύρος (0,θ). Για εκτιμητικούς σκοπούς, η σχετική σειρά της θ είναι τέτοια που θ δεν μπορεί να είναι μικρότερη από τη μεγαλύτερη παρατήρηση. Επειδή το διάστημα (0,θ) δεν είναι συμπαγές, υπάρχει ανώτατο όριο για την συνάρτηση πιθανοφάνειας: Για κάθε εκτίμηση του θήτα, υπάρχει μια μεγαλύτερη εκτίμηση ότι, επίσης, έχει μεγαλύτερη πιθανότητα. Σε αντίθεση, το διάστημα [0,θ], περιλαμβάνει το τελικό σημείο θ και είναι συμπαγής, στην οποία περίπτωση ο εκτιμητής μέγιστης πιθανοφάνειας υπάρχει. Ωστόσο, στην περίπτωση αυτή, ο εκτιμητής μέγιστης πιθανοφάνειας είναι προκατειλημμένος. Ασυμπτωτικά, αυτός ο εκτιμητής μέγιστης πιθανοφάνειας δεν είναι κανονικά κατανεμημένος.[6]

Ενόχληση παράμετρών[Επεξεργασία | επεξεργασία κώδικα]

Για τον εκτιμητή μέγιστης πιθανοφάνειας, ένα μοντέλο μπορεί να έχει μια σειρά από ενόχληση παραμέτρους. Για την ασυμπτωτική συμπεριφορά που περιγράφεται σε αναμονή, ο αριθμός των ενοχλητικών παραμέτρων δεν θα πρέπει να αυξηθεί με τον αριθμό των παρατηρήσεων (το μέγεθος του δείγματος). Ένα πολύ γνωστό παράδειγμα αυτής της περίπτωσης είναι εκεί όπου οι παρατηρήσεις εμφανίζονται ως ζεύγη, όπου οι παρατηρήσεις σε κάθε ζευγάρι έχουν διαφορετικά (άγνωστα) μέσα, αλλά κατά τα άλλα οι παρατηρήσεις είναι ανεξάρτητες και κανονικά κατανεμημένες με κοινή διακύμανση. Εδώ για 2N παρατηρήσεις, υπάρχουν N + 1 παράμετροι. Είναι γνωστό ότι οι εκτιμητές μέγιστης πιθανοφάνειας της διακύμανσης δεν συγκλίνουν προς την πραγματική τιμή της διακύμανσης.

Περισσότερες πληροφορίες[Επεξεργασία | επεξεργασία κώδικα]

Για τις ασύμπτωτες που κατέχουν σε περιπτώσεις όπου η υπόθεση των ανεξάρτητων και ισόνομα κατανεμημένων παρατηρήσεων δεν κατέχετε, βασική προϋπόθεση είναι ότι η ποσότητα των πληροφοριών των δεδομένων αυξάνει επ ' αόριστον, καθώς το μέγεθος του δείγματος αυξάνει. Μια τέτοια απαίτηση δεν μπορεί να ικανοποιηθεί αν, είτε υπάρχει υπερβολική εξάρτηση των δεδομένων (για παράδειγμα, εάν οι νέες παρατηρήσεις είναι πανομοιότυπες με τις υπάρχουσες παρατηρήσεις), ή εάν οι νέες ανεξάρτητες παρατηρήσεις υπόκεινται σε αύξηση των σφαλμάτων της παρατήρησης.

Κάποιες συνθήκες κανονικότητας που να διασφαλίζουν αυτή η συμπεριφορά είναι:

  1. Η πρώτη και η δεύτερη παράγωγος της συνάρτησης της λογαριθμικής πιθανοφάνειας πρέπει να οριστεί.
  2. Ο πίνακας πληροφοριών του Φίσερ  δεν πρέπει να είναι μηδέν, και πρέπει να είναι συνεχής, ως παραμετρική συνάρτηση.
  3. Ο εκτιμητής μέγιστης πιθανοφάνειας να είναι σταθερός.

Ας υποθέσουμε ότι οι συνθήκες για τη συνοχή του εκτιμητή μέγιστης πιθανοφάνειας είναι ικανοποιημένοι, και[7]

  1. θ0 ∈ εσωτερικό(Θ);
  2. f(x | θ) > 0 και είναι δύο φορές συνεχώς διαφορίσιμες στο θ σε κάποια γειτονικά Ν του θ0;
  3. ∫ supθN||∇θf(x | θ)||dx < ∞ και ∫ supθN||∇θθf(x | θ)||dx < ∞;
  4. I = E[∇θln f(x | θ0) ∇θln f(x | θ0)'] υπάρχει και είναι ομαλό;
  5. E[supθN||∇θθln f(x | θ)||] < ∞.

Στη συνέχεια, ο εκτιμητής μέγιστης πιθανοφάνειας έχει ασυμπτωτικά κανονική κατανομή:

Απόδειξη, παρακάμπτοντας τις τεχνικές λεπτομέρειες[Επεξεργασία | επεξεργασία κώδικα]

Μιας και η συνάρτηση λογαριθμικής-πιθανοφάνειας είναι διαφορίσιμη, και το  βρίσκεται στο εσωτερικό του σύνολου παραμέτρων , για το μέγιστο η πρώτη σείρα όρων που θα πρέπει να πληρούνται είναι:

Όταν η λογαριθμική-πιθανοφάνεια είναι δύο φορές διαφορίσιμη, η έκφραση αυτή μπορεί να επεκταθεί σε σειρά Taylor γύρω από το σημείο :

οπού είναι κάποιο ενδιάμεσο σημείο μεταξύ και . Από αυτή την έκφραση μπορούμε να συνάγουμε ότι

Εδώ η έκφραση στις αγκύλες συγκλίνει με πιθανότητα από το νόμο των μεγάλων αριθμών. Το θεώρημα συνεχούς χαρτογράφησης εξασφαλίζει ότι το αντίστροφο αυτής της έκφρασης, επίσης, συγκλίνει με πιθανότητα, στο . Το δεύτερο άθρισμα, από το κεντρικό οριακό θεώρημα, συγκλίνει στη διανομή σε μια κανονική πολυμεταβλητή με μέση τιμή μηδέν και πίνακα διακύμανσης ίσο με τις  πληροφορίες Φίσερ . Έτσι, εφαρμόζοντας το θεώρημα του Slutsky σε όλη την έκφραση, προκύπτει ότι το

Τέλος, η ισότητα πληροφοριών εγγυάται ότι όταν το μοντέλο είναι σωστά καθορισμένο, ο πίνακας  θα είναι ίσος με τον πίνακα πληροφοριών του Φίσερ  , έτσι ώστε η διακύμανση απλοποιείτε απλά στην έκφραση .

Λειτουργικά αναλλοίωτο [Επεξεργασία | επεξεργασία κώδικα]

Ο εκτιμητής μέγιστης πιθανοφάνειας επιλέγει την τιμή της παραμέτρου η οποία δίνει τα παρατηρούμενα δεδομένα όσο το δυνατόν μεγαλύτερο πιθανότητας (ή πιθανότητα πυκνότητας, στη συνεχή περίπτωση). Αν η παράμετρος αποτελείται από έναν αριθμό στοιχείων, τότε ορίζουμε τους ξεχωριστούς εκτιμητές μέγιστης πιθανοφάνειας, όπως και την αντίστοιχη συνιστώσα του ΕΜΠ της πλήρης παραμέτρου. Σύμφωνα με αυτό, αν είναι ο ΕΜΠ για το θ, και αν g(θ) είναι οποιαδήποτε μετατροπή της θ, τότε ο ΕΜΠ για α = g(θ) είναι εξ ορισμού

Μεγιστοποιεί το λεγόμενο προφίλ πιθανότητας:

Οι ΕΜΠ είναι επίσης αμετάβλητες σε σχέση με ορισμένους μετασχηματισμούς των δεδομένων. Αν Y = g(X), όπου g είναι ένα προς ένα και δεν εξαρτάται από τις παραμέτρους που θα πρέπει να εκτιμηθούν, τότε οι συναρτήσεις πυκνότητας ικανοποιούν την :

και ως εκ τούτου οι συναρτήσεις πιθανοφάνειας για X και Y διαφέρουν μόνο κατά ένα συντελεστή που δεν εξαρτάται από τις παραμέτρους του μοντέλου.

Για παράδειγμα, οι ΕΜΠ παράμετροι της λογαριθμικής-κανονικής κατανομής είναι οι ίδιες με αυτές της κανονικής κατανομής προσαρμόζοντας τον λογάριθμος των δεδομένων.

Υψηλής-σειράς ιδιότητες[Επεξεργασία | επεξεργασία κώδικα]

Οι κανονικές ασύμπτωτες λένε ότι ο εκτιμητής μέγιστης πιθανοφάνειας είναι √n-σταθερός και ασυμπτωτικά αποτελεσματικός, πράγμα που σημαίνει ότι πλησιάζει το όριο Cramér–Rao:

όπού I  είναι ο πίνακας πληροφοριών του Φίσερ :

Ειδικότερα, αυτό σημαίνει ότι ο πόλος του εκτιμητή της μέγιστης πιθανοφάνειας είναι ίσο με το μηδέν μέχρι και την σειρά n-1/2. Ωστόσο, όταν εξετάζουμε υψηλής-σειράς όρους στην επέκταση της διανομής του εκτιμητή, αποδεικνύεται ότι θmle έχει πόλο τάξης n-1. Αυτός ο πόλος είναι ίσος με (σοφό συστατικό)[8]

πού η αθροιστική σύμβαση του Αϊνστάιν  πέρα από την επανάληψη των δεικτών έχει ήδη υιοθετηθεί·το I jk υποδηλώνει την j,k-οστή συνιστώσα του αντιστρόφου πίνακα πληροφόρησης του Φίσερ I-1, και

Χρησιμοποιώντας αυτούς τους τύπους είναι δυνατόν να εκτιμηθεί ο δεύτερης τάξης πόλος του εκτιμητή μέγιστης πιθανοφάνειας, και διόρθωση για αυτό τον πόλο κάνοντας την αφαίρεση του:

Αυτός ο εκτιμητής είναι αμερόληπτος μέχρι τους όρους τάξης n-1, και ονομάζεται ο πόλος-διόρθωσης του εκτιμητή μέγιστης πιθανοφάνειας.

Αυτός ο πόλος-διόρθωσης του εκτιμητή είναι δεύτερης τάξης αποδοτικός (τουλάχιστον κατά την κυρτή εκθετική οικογένεια), με την έννοια ότι έχει ελάχιστη μέσου τετραγωνικού σφάλματος μεταξύ όλων των δεύτερης τάξης πόλων-διόρθωσης των εκτιμητών,μέχρι τους όρους της σειράς n-2. Είναι δυνατόν να συνεχιστεί αυτή η διαδικασία, που είναι για την εξαγωγή της τρίτης τάξης όρων πόλων-διόρθωσης, και ούτω καθεξής. Ωστόσο, όπως φαίνεται από τον Kano (1996), ο εκτιμητής μέγιστης πιθανοφάνειας δεν είναι τρίτης τάξης αποτελεσμα.

Παραδείγματα[Επεξεργασία | επεξεργασία κώδικα]

Διακριτή ομοιόμορφη κατανομή[Επεξεργασία | επεξεργασία κώδικα]

Σκεφτείτε την περίπτωση όπου n εισιτήρια αριθμημένα από το 1 έως το n , τοποθετούνται σε ένα κουτί και επιλέγεται ένα τυχαία (βλ ομοιόμορφη κατανομή)· έτσι, το μέγεθος του δείγματος είναι 1. Αν n είναι άγνωστο, τότε ο εκτιμητής μέγιστης πιθανοφάνειας του n είναι ο αριθμός m για το επιλεχθέν εισιτήριο. (Η πιθανοφάνεια είναι 0 για n < m, 1/n για nm, και αυτή είναι μεγαλύτερη όταν n = m. Σημειώστε ότι ο εκτιμητής μέγιστης πιθανοφάνειας του n παρουσιάζεται στα κάτω άκρα των πιθανών τιμών {m, m + 1, ...}, και όχι κάπου στη "μέση" του εύρους των πιθανών τιμών, η οποία θα οδηγήσει σε λιγότερο σφάλμα.) Η αναμενόμενη τιμή του αριθμού m για το επιλεχθέν εισιτήριο, και ως εκ τούτου, η αναμενόμενη τιμή του , είναι (n + 1)/2. Ως αποτέλεσμα, με ένα δείγμα μεγέθους 1, η μέγιστη πιθανότητα εκτιμητής για το n συστηματικά υποτιμούν n (n − 1)/2.

Διακριτή κατανομή, πεπερασμένο παράμετρος χώρο[Επεξεργασία | επεξεργασία κώδικα]

Ας υποθέσουμε ότι κάποιος επιθυμεί να καθορίσει το σφάλμα ενός άδικου νομίσματος . Ονομάζουμε την πιθανότητα να τύχει ΚΟΡΌΝΑ p. Ο στόχος, στη συνέχεια, γίνεται για να προσδιορίσετε το p.

Ας υποθέσουμε ότι ρίξαμε το νόμισμα 80 φορές: δηλαδή, το δείγμα μπορεί να είναι κάτι σαν x1 = H, x2 = T, ..., x80 = T, και η καταμέτρηση του αριθμού των ΚΟΡΟΝΏΝ "H" που παρατηρείται.

Η πιθανότητα να ρίξει ΓΡΆΜΜΑΤΑ είναι 1 − p (εδώ, λοιπόν, p είναι θ ανωτέρω). Ας υποθέσουμε ότι το αποτέλεσμα είναι 49 ΚΟΡΌΝΕΣ και τις 31 ΓΡΆΜΜΑΤΑ, και ας υποθέσουμε ότι το νόμισμα επιλέχτηκε από ένα κουτί που περιέχει τρία νομίσματα: ένα που δίνει ΚΟΡΌΝΑ με πιθανότητα p = 1/3, το οποίο δίνει ΚΟΡΌΝΑ με πιθανότητα p = 1/2 και ένα άλλο που δίνει ΚΟΡΌΝΑ με πιθανότητα p = 2/3. Τα νομίσματα έχουν χάσει τις ετικέτες τους, οπότε δεν γνωρίζουμε ποιο είναι ποιο. Χρησιμοποιώντας τον εκτιμητή μέγιστης πιθανοφάνειας το νόμισμα που έχει τη μεγαλύτερη πιθανοφάνεια μπορεί να βρεθεί, με τα δεδομένα που παρατηρήθηκαν. Χρησιμοποιώντας την συνάρτηση μάζας πιθανότητας της διωνυμικής κατανομής με μέγεθος δείγματος ίσο με το 80,ο αριθμός των επιτυχιών είναι ίσος με 49 αλλά για διαφορετικές τιμές του p (η "πιθανότητα επιτυχίας"), η συνάρτηση πιθανοφάνειας (που ορίζεται παρακάτω), λαμβάνει μία από τις τρεις τιμές:

Η πιθανοφάνεια μεγιστοποιείται όταν p = 2/3, οπότε αυτός είναι ο εκτιμητής μέγιστης πιθανοφάνειας για το.

Διακριτή κατανομή, η συνεχής παράμετρος χώρο[Επεξεργασία | επεξεργασία κώδικα]

Τώρα, ας υποθέσουμε ότι υπήρχε μόνο ένα νόμισμα, αλλά η p θα μπορούσε να έχει οποιαδήποτε τιμή 0 ≤ p ≤ 1. Η συνάρτηση πιθανοφάνειας για να μεγιστοποιηθεί είναι

και η μεγιστοποίηση είναι πάνω από όλες τις δυνατές τιμές 0 ≤ p ≤ 1.

συνάρτηση πιθανοφάνειας για την αναλογία της αξίας μιας διωνυμικής διαδικασίας         (n = 10)

Ένας τρόπος για να μεγιστοποιηθεί η συνάρτηση αυτή είναι με διαφοροποίηση όσον αφορά το p και ρύθμιση στο μηδέν:

η οποία έχει λύσεις, p = 0, p = 1 και p = 49/80. Η λύση που μεγιστοποιεί την πιθανότητα να είναι σαφώς p = 49/80 (αφού p = 0 και p = 1 το αποτέλεσμα στην πιθανοφάνεια του μηδέν). Έτσι, ο εκτιμητής μέγιστης πιθανοφάνειας για το p είναι 49/80.

Το αποτέλεσμα αυτό είναι εύκολα γενικευμένη αντικαθιστώντας ένα γράμμα όπως το t στη θέση 49 για να αντιπροσωπεύει τον παρατηρούμενο αριθμό των "επιτυχιών" της δοκιμής Bernoulli μας, και ένα γράμμα όπως n στη θέση 80, για να αντιπροσωπεύει τον αριθμό των δοκιμών Bernoulli. Ακριβώς το ίδιο για τον υπολογισμό των αποδόσεων, ο εκτιμητής μέγιστης πιθανοφάνειας t / n για κάθε ακολουθία n δοκιμών Bernoulli με αποτέλεσμα t 'επιτυχίες'.

Συνεχής κατανομή, η συνεχής παράμετρος χώρο[Επεξεργασία | επεξεργασία κώδικα]

Για την κανονική κατανομή που έχει συνάρτηση πυκνότητας πιθανότητας

η αντίστοιχη συνάρτηση πυκνότητας πιθανότητας για ένα δείγμα από n ανεξάρτητες και ισόνομα κατανεμημένες κανονικές τυχαίες μεταβλητές (η πιθανότητα) είναι

ή πιο σωστά:

όπου είναι η μέση τιμή του δείγματος.

Αυτή η οικογένεια των κατανομών έχει δύο παραμέτρους: θ = (μ, σ), οπότε μπορούμε να μεγιστοποιήσουμε την πιθανοφάνεια, , πάνω από δύο παραμέτρους ταυτόχρονα, ή, αν είναι δυνατόν, ξεχωριστά.

Δεδομένου ότι ο λογάριθμος είναι μια συνεχής αυστηρά αυξανόμενη λειτουργία πάνω από το φάσμα της πιθανοφάνειας, οι τιμές που μεγιστοποιούν την πιθανοφάνεια, θα μεγιστοποιήσουν επίσης και τον λογάριθμό του. Αυτή η λογαριθμική πιθανοφάνεια μπορεί να γραφτεί ως εξής:

(Σημείωση: η λογαριθμική-πιθανοφάνεια είναι στενά συνδεδεμένη με τις πληροφορίες εντροπία και τις πληροφορίες Φίσερ.)

Μπορούμε τώρα να υπολογίσουμε τις παραγώγους αυτής της λογαριθμικής-πιθανοφάνειας ως εξής.

Αυτό λύνεται με

Αυτό είναι πράγματι το μέγιστο της συνάρτησης, δεδομένου ότι είναι το μόνο σημείο καμπής στο μ και η δεύτερη παράγωγος είναι αυστηρά μικρότερη από το μηδέν. Η αναμενόμενη τιμή είναι ίση με την παράμετρο μ της συγκεκριμένης διανομής,

που σημαίνει ότι ο εκτιμητής μέγιστης πιθανοφάνειας είναι αμερόληπτος.

Ομοίως μπορούμε να διαφορίσουμε την λογαριθμική πιθανοφάνεια ως προς το σ και είναι ίσο με το μηδέν:

το οποίο λύνεται με

Εισαγωγή της εκτίμησης  θα αποκτηθεί από

Για να υπολογίσουμε την αναμενόμενη τιμή της, είναι βολικό να ξαναγράψουμε την έκφραση σε σχέση με μηδέν-μέσες τυχαίες μεταβλητές (στατιστικό σφάλμα) . Εκφράζοντας την εκτίμηση σε αυτές τις μεταβλητές αποδόσεις

Απλοποιόντας την έκφραση παραπάνω, αξιοποιώντας τα γεγονότα ότι  και  μας επιτρέπει να αποκτήσουμε 

Αυτό σημαίνει ότι ο εκτιμητής είναι εσφαλμένος. Ωστόσο, είναι σταθερή.

Επίσημα μπορούμε να πούμε ότι ο εκτιμητής μέγιστης πιθανοφάνειας για το είναι:

Στην περίπτωση αυτή, οι ΕΜΠ θα μπορούσε να επιτευχθεί ξεχωριστά. Σε γενικές γραμμές, αυτό μπορεί να μην είναι η περίπτωση, και οι ΕΜΠ θα πρέπει να λαμβάνονται ταυτόχρονα.

Η κανονική λογαριθμική πιθανοφάνεια στο μέγιστο παίρνει μια ιδιαίτερα απλή μορφή:

Αυτή η μέγιστη λογαριθμική πιθανοφάνεια μπορεί να αποδειχθεί ότι είναι το ίδιο για πιο γενικότερων ελαχίστων τετραγώνων, ακόμα και για μη-γραμμικά ελάχιστα τετράγωνα. Αυτό συχνά χρησιμοποιείται για τον προσδιορισμό της πιθανοφάνειας με βάση την προσέγγιση του διαστήματος εμπιστοσύνης και τις περιοχές εμπιστοσύνης, οι οποίες είναι γενικά πιο ακριβή από ότι εκείνες που χρησιμοποιούν την ασυμπτωτική κανονικότητα που συζητήθηκε παραπάνω.

Μη-ανεξάρτητες μεταβλητές[Επεξεργασία | επεξεργασία κώδικα]

Μπορεί να είναι η υπόθεση ότι οι μεταβλητές συσχετίζονται, δηλαδή, δεν είναι ανεξάρτητες. Δύο τυχαίες μεταβλητές X και Y είναι ανεξάρτητες μόνο αν η από κοινού συνάρτηση πυκνότητας πιθανότητας είναι το γινόμενο των επιμέρους συναρτήσεων πυκνότητας πιθανότητας, δηλ.

Ας υποθέσουμε ότι κάποιος κατασκευάζει μια σειρά-n Gauss διανυσμάτων από τυχαίες μεταβλητές , όπου κάθε μεταβλητή έχει μέσο που δίνεται από . Επιπλέον, ας έχουμε τον πίνακα συνδιακύμανσης ότι θα συμβολίζεται με .

Η κοινή συνάρτηση πυκνότητας πιθανότητας αυτών των n τυχαίων μεταβλητών, στη συνέχεια, δίνεται από:

Σε αυτό και σε άλλες περιπτώσεις όπου η κοινή συνάρτηση πυκνότητας υπάρχει η συνάρτηση πιθανοφάνειας ορίζεται όπως παραπάνω, στην ενότητα Αρχές, χρησιμοποιώντας αυτή την πυκνότητα.

Επαναληπτικές διαδικασίες[Επεξεργασία | επεξεργασία κώδικα]

Σκεφτείτε τα προβλήματα που και τα δύο μέλη και οι παράμετροι όπως το απαιτούν να εκτιμηθούν. Επαναληπτικές διαδικασίες όπως αλγόριθμοι Προσδοκίας-μεγιστοποίησης μπορούν να χρησιμοποιηθούν για την επίλυση κοινού κατάσταση-εκτίμηση παραμέτρων προβλημάτων.

Για παράδειγμα, ας υποθέσουμε ότι n δείγματα μιας κατάστασης εκτιμούν  , μαζί με μια μέση τιμή δείγματος έχουν υπολογιστεί είτε από μια ελάχιστη διακύμανση Kalman φίλτρο ή μια ελάχιστη διακύμανση ομαλότερη χρησιμοποιώντας μια προηγούμενη εκτίμηση διακύμανσης . Στη συνέχεια η ημερήσια διακύμανση επαναλαμβάνω μπορεί να ληφθεί από τον υπολογισμό του εκτιμητή μέγιστης πιθανοφάνειας

Η σύγκλιση των ΕΜΠ εντός φιλτραρίσματος και η εξομάλυνση των αλγόριθμοι Προσδοκίας (ΑΠ) έχει μελετηθεί στην βιβλιογραφία.[9][10][11]

Εφαρμογές[Επεξεργασία | επεξεργασία κώδικα]

Η εκτίμηση μέγιστης πιθανοφάνειας χρησιμοποιείται για ένα ευρύ φάσμα των στατιστικών μοντέλων, συμπεριλαμβανομένων:

Οι χρήσεις αυτές προκύπτουν σε εφαρμογές σε ευρύ σύνολο από τομείς, συμπεριλαμβανομένων:

  • συστήματα επικοινωνίας;
  • ψυχομετρική;
  • οικονομετρία;
  • χρονική καθυστέρηση άφιξης (ΧΚΑ) σε ακουστική ή ηλεκτρομαγνητική ανίχνευση
  • μοντελοποίηση δεδομένων στην πυρηνική και σωματιδιακή φυσική;
  • μαγνητική τομογραφία;[12][13]
  • υπολογιστική φυλογενετική;
  • προέλευση/προορισμό και τη διαδρομή-επιλογή μοντέλων σε δίκτυα μεταφορών 
  • γεωγραφική δορυφορική-εικονική ταξινόμηση 
  • το ηλεκτρικό σύστημα κατάστασης εκτίμησης.

Δείτε επίσης[Επεξεργασία | επεξεργασία κώδικα]

  • Άλλες μέθοδοι εκτίμησης
  • Σχετικές έννοιες:
    • Το BHHH αλγόριθμος είναι μια μη-γραμμική βελτιστοποίηση του αλγορίθμου που είναι δημοφιλής για εκτιμήσεις Μέγιστης Πιθανοφάνειας .
    • Extremum εκτιμητής, μια πιο γενική κλάση των εκτιμητών που ο ΕΜΠ ανήκει.
    • Φίσερ, πληροφορίες,πίνακας πληροφοριών για τη σχέση του με τον πίνακα συνδιακύμανσης ML εκτιμήσεων
    • Λειτουργεία Πιθανοφάνειας, μια περιγραφή σχετικά με το τι συναρτήσεις πιθανότητας υπάρχουν.
    • Μέσου τετραγωνικού σφάλματος, ένα μέτρο του πόσο "καλός" ειναι ενας εκτιμητής της κατανομής της παραμέτρου (είναι ο εκτιμητής μέγιστης πιθανοφάνειας ή κάποιος άλλος εκτιμητής).
    • RANSAC, μια μέθοδος για τον υπολογισμό των παραμέτρων του μαθηματικού μοντέλου δεδομένων που περιέχει ακραίες τιμές
    • Το Rao–Blackwell θεώρημα, ένα αποτέλεσμα, το οποίο παράγει μια διαδικασία για την εύρεση του καλύτερου δυνατού αμερόληπτου εκτιμητή (με την έννοια της έχοντας ελάχιστη μέσου τετραγωνικού σφάλματος). Το ΕΜΠ είναι συχνά ένα καλό σημείο εκκίνησης για τη διαδικασία.
    • Επαρκής στατιστική, η συνάρτηση των δεδομένων, μέσω των οποίων το ΕΜΠ (αν υπάρχει και είναι μοναδικό) θα εξαρτηθεί από τα δεδομένα.

Παραπομπές[Επεξεργασία | επεξεργασία κώδικα]

  1. 1,0 1,1 Pfanzagl, Johann, with the assistance of R. Hamböker (1994). Parametric statistical theory. Walter de Gruyter, Berlin, DE, σελ. 207–208. ISBN 3-11-013863-8. 
  2. Edgeworth & September 1908) and Edgeworth & December 1908)
  3. Savage (1976), Pratt (1976), Stigler (1978, 1986, 1999), Hald (1998, 1999), and Aldrich (1997)
  4. Pfanzagl (1994, p. 206)
  5. Newey & McFadden (1994, Theorem 2.5.)
  6. Lehmann & Casella (1998)
  7. Newey & McFadden (1994, Theorem 3.3.)
  8. Cox & Snell (1968, formula (20))
  9. Einicke, G.A.; Malos, J.T.; Reid, D.C.; Hainsworth, D.W. (January 2009). «Riccati Equation and EM Algorithm Convergence for Inertial Navigation Alignment». IEEE Trans. Signal Processing 57 (1): 370–375. doi:10.1109/TSP.2008.2007090 
  10. Einicke, G.A.; Falco, G.; Malos, J.T. (May 2010). «EM Algorithm State Matrix Estimation for Navigation». IEEE Signal Processing Letters 17 (5): 437–440. doi:10.1109/LSP.2010.2043151 
  11. Einicke, G.A.; Falco, G.; Dunn, M.T.; Reid, D.C. (May 2012). «Iterative Smoother-Based Variance Estimation». IEEE Signal Processing Letters 19 (5): 275–278. doi:10.1109/LSP.2012.2190278 
  12. Sijbers, Jan; den Dekker, A.J. (2004). «Maximum Likelihood estimation of signal amplitude and noise variance from MR data». Magnetic Resonance in Medicine 51 (3): 586–594. doi:10.1002/mrm.10728. PMID 15004801. 
  13. Sijbers, Jan; den Dekker, A.J.; Scheunders, P.; Van Dyck, D. (1998). «Maximum Likelihood estimation of Rician distribution parameters». IEEE Transactions on Medical Imaging 17 (3): 357–361. doi:10.1109/42.712125. PMID 9735899. 

Περαιτέρω ανάγνωση[Επεξεργασία | επεξεργασία κώδικα]

Εξωτερικοί σύνδεσμοι[Επεξεργασία | επεξεργασία κώδικα]