Αμοιβαία πληροφορία
Στην θεωρία πληροφορίας, η αμοιβαία πληροφορία είναι η ποσότητα που ορίζεται ως η σχετική εντροπία μεταξύ της από-κοινού κατανομής και το γινόμενο των περιθωριακών κατανομών, δύο διακριτών τυχαίων μεταβλητών και , ως εξής:[1]:11[2]
ή ισοδύναμα, με την χρήση της απόκλισης Kullback-Leibler ως εξής:
Ιδιότητες[Επεξεργασία | επεξεργασία κώδικα]
- (Μη-αρνητικότητα) Για κάθε τυχαία μεταβλητή , ισχύει ότι .
Απόδειξη |
---|
|
- (Συμμετρία) Για κάθε δύο τυχαίες μεταβλητές και , ισχύει ότι .
Απόδειξη |
---|
Προκύπτει από τον ορισμό της αμοιβαίας πληροφορίας και το γεγονός ότι . |
- .
Απόδειξη |
---|
χρησιμοποιώντας ότι και . |
Από την παρακάτω ιδιότητα προκύπτει η ονομασία αμοιβαία πληροφορία:
Απόδειξη |
---|
Από τις ιδιότητες της από-κοινού πληροφορίας, προκύπτει ότι . Επομένως, από την προηγούμενη ιδιότητα προκύπτει ότι, |
Δείτε επίσης[Επεξεργασία | επεξεργασία κώδικα]
Παραπομπές[Επεξεργασία | επεξεργασία κώδικα]
- ↑ Λιάβας, Αθανάσιος Π. «Στοιχεία Θεωρίας Πληροφορίας» (PDF). Τμήμα ΗΜΜΥ Πολυτεχνείο Κρήτης. Ανακτήθηκε στις 1 Μαΐου 2023.
- ↑ Cover, T. M. (2006). Elements of information theory (2η έκδοση). Hoboken, N.J.: Wiley-Interscience. ISBN 9780471241959.
Αυτό το μαθηματικό λήμμα χρειάζεται επέκταση. Μπορείτε να βοηθήσετε την Βικιπαίδεια επεκτείνοντάς το. |