Εντροπία πληροφοριών

Από τη Βικιπαίδεια, την ελεύθερη εγκυκλοπαίδεια

Η εντροπία στη θεωρία πληροφορίας είναι ένα «μέτρο αβεβαιότητας» που διακατέχει ένα σύστημα.

Ο όρος εντροπία χρησιμοποιήθηκε αρχικά στη θερμοδυναμική (βλ. εντροπία). Στη θεωρία πληροφορίας εισήχθη από τον Κλωντ Σάνον το 1948 και γι' αυτό ονομάζεται και εντροπία του Σάνον. Η εντροπία της θερμοδυναμικής μπορεί να ιδωθεί ως εφαρμογή της εντροπίας στη θεωρία πληροφορίας.

Πίνακας περιεχομένων 1 Ορισμός 2 Παραδείγματα 2.1 Δοκιμή Bernoulli 2.2 Ισοπίθανα γεγονότα

[Επεξεργασία] Ορισμός

Έστω ένα πείραμα τύχης με n πιθανά αποτελέσματα. Θεωρούμε την τυχαία μεταβλητή X και τα απλά ενδεχόμενα x₁...x_n που πραγματοποιούνται με πιθανότητες p₁...p_n αντίστοιχα.

Η εντροπία ορίζεται ως:

με την σύμβαση 0log₂0 = 0.

[Επεξεργασία] Παραδείγματα

[Επεξεργασία] Δοκιμή Bernoulli

Έστω μία δοκιμή Bernoulli με πιθανότητα επιτυχίας p. Συγκεκριμένα μπορούμε να θεωρήσουμε ένα δοχείο με Ν μπάλες, Νp από τις οποίες είναι λευκές και Ν(1-p) μαύρες από το οποίο επιλέγουμε τυχαία μία μπάλα. Αν όλες οι μπάλες είναι λευκές ή όλες είναι μαύρες (p=1 ή p=0 αντίστοιχα), τότε ξέρουμε με σιγουριά το αποτέλεσμα του πειράματος και η εντροπία είναι 0. Τη μέγιστη αβεβαιότητα για το αποτέλεσμα την έχουμε όταν οι μισές μπάλες είναι λευκές και οι μισές μαύρες, p=0,5.

[Επεξεργασία] Ισοπίθανα γεγονότα

'Εστω η τυχαία μεταβλητή Χ μπορεί να πάρει n τιμές που είναι ισοπίθανες μεταξύ τους, p=1/n. Η εντροπία τότε είναι:

.

Παρατηρούμε ότι η εντροπία αυξάνει με τον αριθμό των καταστάσεων.