Αλυσίδα Μαρκόφ
| Ταξινόμηση | |
|---|---|
| Dewey | 519 |
| MSC2010 | 60JXX |
Η αλυσίδα Μαρκόφ είναι μία στοχαστική διαδικασία κατά την οποία η μετάβαση από τη μία κατάσταση στην επόμενη εξαρτάται μόνο από την τελεύταια και όχι από τις υπόλοιπες προηγούμενες.
Μαθηματικός ορισμός [Επεξεργασία]
Έστω
μια στοχαστική διαδικασία στο χώρο πιθανοτήτων
και τιμές στο σύνολο καταστάσεων
. Αν για
και
ισχύει
τότε η
ονομάζεται αλυσίδα Μαρκόφ.
Ο χρόνος σε μια μαρκοβιανή αλυσίδα μπορεί να είναι διακριτός ή συνεχής. Αντιθέτως το σύνολο καταστάσεων είναι διακριτό. Όταν έχουμε συνεχές σύνολο καταστάσεων μιλαμε για μαρκοβιανή διαδικασία. Ένα παράδειγμα μαρκοβιανής διαδικασίας είναι η κίνηση Μπράουν.
Σε διακριτό χρόνο,
, οι πιθανότητες μετάβασης από την κατάσταση
στην κατάσταση
μπορούν να περιγραφούν ως εξής:
Όταν επιπρόσθετα έχουμε πεπερασμένο σύνολο καταστάσεων
μπορούμε να ορίσουμε πίνακα μετάβασης. Αν οι πιθανότητες μετάβασης είναι ανεξάρτητες του χρόνου,
για κάθε t, τότε η αλυσίδα ονομάζεται ομογενής. Σε αυτή την περίπτωση ο πίνακας μετάβασης ορίζεται ως εξής:
.
Η πιθανότητα μετάβασης από την κατάσταση
στην κατάσταση
σε n βήματα είναι
![P[X_{t_{n+1}}=s_{i_{n+1}}|X_{t_1}=s_{i_1}, X_{t_2}=s_{i_2}, \ldots, X_{t_n}=s_{i_n}] =](http://upload.wikimedia.org/math/a/7/9/a795a684f52e02a88b6ad680789f14f5.png)
![P[X_{t_{n+1}}=s_{i_{n+1}}|X_{t_{n}}=s_{i_n}],](http://upload.wikimedia.org/math/f/f/a/ffaadc317cb72dc0c74cc953d721de71.png)

.