Δίκτυα Μακράς Βραχύχρονης Μνήμης
Τα Δίκτυα Μακράς Βραχύχρονης Μνήμης (αγγλικά Long Short-term Memory - LSTM) είναι μορφή τεχνητών ανατροφοδοτούμενων νευρωνικών δικτύων που χρησιμοποιούνται στον τομέα της βαθειάς μάθησης. Σε αντίθεση με τα συνηθέστερα εμπροσθοδοτούμενα νευρωνικά δίκτυα, τα ανατροφοδοτούμενα νευρωνικά δίκτυα διαθέτουν συνδέσμους ανατροφοδότησης που τα επιτρέπουν να επεξεργάζονται δεδομένα ως σειρές (συνήθως χρονοσειρές όπως δεδομένα ήχου ή βίντεο). Τα Δίκτυα Μακράς Βραχύχρονης Μνήμης χρησιμοποιούνται σε εφαρμογές όπως την αυτόματη ανάγνωση χειρογράφων [1] την αναγνώριση ομιλίας [2][3] και την ανίχνευση ανωμαλιών σε δικτυακές επικοινωνίες.
Η αρχιτεκτονική της Μακράς Βραχύχρονης Μνήμης αναπτύχθηκε ως λύση στο πρόβλημα εξαφάνισης κλίσεων που σημειώνεται στα παραδοσιακά ανατροφοδοτούμενα νευρωνικά. Η βασική της μονάδα απαρτίζεται από ένα κελί και πύλες εισόδου, εξόδου και λήθης. Το κελί κράταει πληροφορίες απο προηγούμενες θέσεις χρόνου ενώ οι τρεις πύλες ρυθμίζουν την ροή πληροφορίας εντός και εκτός του κελιού. Έτσι, το δίκτυο μπορεί να μοντελοποιήσει τις σχέσεις χρονοσειρών με καθυστερήσεις άγνωστης διάρκειας μεταξύ σημαντικών γεγονότων. Αυτή η σχετικά χαμηλή ευαισθησία στην χρονική απόσταση πληροφοριών αποτελεί και το βασικό πλεονέκτιμα των Δικτύων Μακράς Βραχύχρονης Μνήμης σε σχέση με τα παραδοσιακά ανατροφοδοτούμενα, τα κρυφά Μαρκοβιανά μοντέλα και άλλες μεθόδους μάθησης σειρών.
Παραπομπές[Επεξεργασία | επεξεργασία κώδικα]
- ↑ Graves, A.; Liwicki, M.; Fernandez, S.; Bertolami, R.; Bunke, H.; Schmidhuber, J. (2009). «A Novel Connectionist System for Improved Unconstrained Handwriting Recognition». IEEE Transactions on Pattern Analysis and Machine Intelligence 31 (5): 855–868. doi:. PMID 19299860. http://www.idsia.ch/~juergen/tpami_2008.pdf.
- ↑ Sak, Hasim· Senior, Andrew· Beaufays, Francoise (2014). «Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling» (PDF). Αρχειοθετήθηκε από το πρωτότυπο (PDF) στις 24 Απριλίου 2018.
- ↑ Li, Xiangang; Wu, Xihong (2014-10-15). «Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition». arXiv:1410.4281 [cs.CL].