Ανισότητα Γκιμπς

Από τη Βικιπαίδεια, την ελεύθερη εγκυκλοπαίδεια

Στα μαθηματικά, η ανισότητα Γκιμπς ή ανισότητα πληροφορίας (αναφέρεται και ως ανισότητα Gibbs) λέει ότι για οποιεσδήποτε δύο διακριτές κατανομές και , ισχύει ότι[1]:34

.

Η ανισότητα παίρνει το όνομά της από τον Τζοσάια Γουίλαρντ Γκιμπς.

Αποδείξεις[Επεξεργασία | επεξεργασία κώδικα]

Απόδειξη με ανισότητα Τζένσεν[Επεξεργασία | επεξεργασία κώδικα]

Θα χρησιμοποιήσουμε την εξής μορφή της ανισότητας Τζένσεν για κοίλη συνάρτηση και τυχαία μεταβλητή :

Θεωρούμε την τυχαία μεταβλητή με κατανομή την και την συνάρτηση , που είναι κυρτή. Επομένως,

.

Αναδιατάσσοντας, λαμβάνουμε την ανισότητα Γκμιπς,

.

Απόδειξη με ανισότητα λογαρίθμου-αθροίσματος[Επεξεργασία | επεξεργασία κώδικα]

Η ανισότητα λογαρίθμου-αθροίσματος δίνει ότι για οποιεσδήποτε ακολουθίες και [2]:31

,

όπου και .

Θέτοντας και , τότε , λαμβάνουμε

.

Αναδιατάσσοντας όπως στην προηγούμενη απόδειξη, λαμβάνουμε το ζητούμενο.

Δείτε επίσης[Επεξεργασία | επεξεργασία κώδικα]

Παραπομπές[Επεξεργασία | επεξεργασία κώδικα]

  1. MacKay, David J. C. (2003). Information Theory, Inference and Learning Algorithms (PDF). Cambridge: Cambridge University Press. ISBN 978-0521642989. 
  2. Cover, T. M. Elements of information theory (2η έκδοση). Hoboken, N.J.: Wiley-Interscience. ISBN 978-0471241959.