Εντροπία πληροφοριών

Εντροπία πληροφοριών

Ταξινόμηση
Dewey	510
MSC2010	94A17

Η εντροπία στη θεωρία πληροφορίας είναι ένα «μέτρο αβεβαιότητας» που διακατέχει ένα σύστημα.

Ο όρος εντροπία χρησιμοποιήθηκε αρχικά στη θερμοδυναμική (βλ. εντροπία). Στη θεωρία πληροφορίας εισήχθη από τον Κλωντ Σάνον το 1948 και γι' αυτό ονομάζεται και εντροπία του Σάνον. Η χρήση του ίδιου όρου με τη θερμοδυναμική εντροπία, παρότι μπορεί να προκαλέσει σύγχυση, υιοθετήθηκε από τον Σάνον μετά και από παρότρυνση ενός άλλου σπουδαίου μαθηματικού, του Τζον φον Νόιμαν, ο οποίος φέρεται ότι είχε πει στον Σάνον:

«Πρέπει να το ονομάσεις εντροπία για δύο λόγους: Πρώτον, η συνάρτηση αυτή χρησιμοποιείται ήδη στη θερμοδυναμική με το ίδιο όνομα. Δεύτερο, και σημαντικότερο, ο περισσότερος κόσμος δεν γνωρίζει τι πραγματικά είναι η εντροπία, και αν χρησιμοποιείς τον όρο εντροπία σε ένα αντεπιχείρημα θα κερδίζεις πάντα».

Η εντροπία της θερμοδυναμικής μπορεί να αντιστοιχιστεί με την εντροπία στη θεωρία πληροφορίας.

Ορισμός

Έστω ένα πείραμα τύχης με n πιθανά αποτελέσματα. Θεωρούμε την τυχαία μεταβλητή X και τα απλά ενδεχόμενα x₁...x_n που πραγματοποιούνται με πιθανότητες p₁...p_n $(\sum_{i=1}^np_i=1)$ αντίστοιχα.

Η εντροπία ορίζεται ως:

$H(X)=\sum_{i=1}^np_i\log_2 \left(\frac{1}{p_i}\right)=-\sum_{i=1}^np_i\log_2 p_i,$

με την σύμβαση $0\log_20=0$.

Παραδείγματα

Η εντροπία σε μία δοκιμή Bernoulli ως συνάρτηση της πιθανότητας επιτυχίας $Pr(X=1)=p$

Δοκιμή Bernoulli

Έστω μία δοκιμή Bernoulli με πιθανότητα επιτυχίας p. Συγκεκριμένα μπορούμε να θεωρήσουμε ένα δοχείο με Ν μπάλες, Νp από τις οποίες είναι λευκές και Ν(1-p) μαύρες από το οποίο επιλέγουμε τυχαία μία μπάλα. Αν όλες οι μπάλες είναι λευκές ή όλες είναι μαύρες (p=1 ή p=0 αντίστοιχα), τότε ξέρουμε με σιγουριά το αποτέλεσμα του πειράματος και η εντροπία είναι 0. Τη μέγιστη αβεβαιότητα για το αποτέλεσμα την έχουμε όταν οι μισές μπάλες είναι λευκές και οι μισές μαύρες, p=0,5.

Ισοπίθανα γεγονότα

'Εστω η τυχαία μεταβλητή Χ μπορεί να πάρει n τιμές που είναι ισοπίθανες μεταξύ τους, p=1/n. Η εντροπία τότε είναι:

$H(X)=-\sum_{i=1}^n\frac1n\log_2\frac1n=\log_2n$.

Παρατηρούμε ότι η εντροπία αυξάνει με τον αριθμό των καταστάσεων.