Οπισθοδιάδοση

Από τη Βικιπαίδεια, την ελεύθερη εγκυκλοπαίδεια
Πήδηση στην πλοήγηση Πήδηση στην αναζήτηση

O αλγόριθμος οπισθοδιάδοσης είναι μια οικογένεια μεθόδων που χρησιμοποιούνται για την αποτελεσματική εκπαίδευση των τεχνητών νευρωνικών δικτύων (συντομογραφία ΤΝΔ), ακολουθώντας έναν αλγόριθμο βελτιστοποίησης βασιζόμενο στην κλίση που εκμεταλλεύεται τον κανόνα της αλυσίδας . Το κύριο χαρακτηριστικό της οπισθοδιάδοσης είναι η επαναληπτική, αναδρομική και αποδοτική μέθοδος για τον υπολογισμό των ανανεώσεων των βαρών για τη βελτίωση του δικτύου έως ότου είναι σε θέση να εκτελέσει το έργο για το οποίο εκπαιδεύεται. Είναι στενά συνδεδεμένη με τον αλγόριθμο Gauss-Newton .

Η οπισθοδιάδοση απαιτεί ότι οι παράγωγοι των συναρτήσεων ενεργοποίησης κατά το σχεδιασμό του δικτύου είναι γνωστοί. Η αυτόματη διαφοροποίηση είναι μια τεχνική που παρέχει αυτόματα και αναλυτικά τις παραγώγους των συναρτήσεων στον αλγόριθμο εκπαίδευσης. Στο πλαίσιο της μάθησης, η οπισθοδιάδοση χρησιμοποιείται συνήθως από τον αλγόριθμο βελτιστοποίησης μείωσης κλίσης ώστε να ρυθμίσει το βάρος των νευρώνων υπολογίζοντας την κλίση της συνάρτησης απώλειας. Η οπίσθοδιάδοση υπολογίζει τις κλίσεις, ενώ η (στοχαστική) μείωση της κλίσης χρησιμοποιεί τις κλίσεις για την εκπαίδευση του μοντέλου (μέσω βελτιστοποίησης).

Κίνητρο[Επεξεργασία | επεξεργασία κώδικα]

Ο στόχος οποιουδήποτε επιβλεπόμενου αλγορίθμου μάθησης είναι να βρεθεί μια λειτουργία που να απεικονίζει βέλτιστα ένα σύνολο εισόδων στη σωστή έξοδο τους. Το κίνητρο για backpropagation είναι να εκπαιδεύσει ένα πολυεπίπεδο νευρωνικό δίκτυο έτσι ώστε να μπορεί να μάθει τις κατάλληλες εσωτερικές αναπαραστάσεις για να του επιτρέψει να μάθει τυχόν αυθαίρετη χαρτογράφηση της εισόδου στην έξοδο. [1]

Παραπομπές[Επεξεργασία | επεξεργασία κώδικα]

  1. Rumelhart, David E.; Hinton, Geoffrey E.; Williams, Ronald J. (8 October 1986). «Learning representations by back-propagating errors». Nature 323 (6088): 533–536. doi:10.1038/323533a0. Bibcode1986Natur.323..533R. 

Εξωτερικοί σύνδεσμοι[Επεξεργασία | επεξεργασία κώδικα]