Γραμμική παλινδρόμηση

Στη στατιστική, η γραμμική παλινδρόμηση είναι μια προσέγγιση για τη μοντελοποίηση της σχέσης μεταξύ μιας βαθμωτής εξαρτημένης μεταβλητής Υ και μίας ή περισσότερων επεξηγηματικών μεταβλητών (ή ανεξάρτητων μεταβλητών) X. Περίπτωση μιας επεξηγηματικής μεταβλητής ονομάζεται απλή γραμμική παλινδρόμηση. Για περισσότερες από μία επεξηγηματικές μεταβλητές, η διαδικασία ονομάζεται πολλαπλή γραμμική παλινδρόμηση.(Ο όρος αυτός θα πρέπει να διακρίνεται από πολυμεταβλητή γραμμική παλινδρόμηση, όπου πολλαπλά προβλέπουν συσχέτιση με εξαρτημένες μεταβλητές , αντί για μία ενιαία βαθμωτή μεταβλητή.)

Στην γραμμική παλινδρόμηση, τα δεδομένα μοντελοποιούνται χρησιμοποιώντας γραμμικές λειτουργίες προγνωστικά, και οι άγνωστες παράμετροι μοντέλου υπολογίζονται από τα δεδομένα. Τέτοια μοντέλα καλούνται γραμμικά μοντέλα. Συνηθέστερα, η γραμμική παλινδρόμηση αναφέρεται σε ένα μοντέλο στο οποίο ο υποθετικός μέσος όρος του Υ δεδομένης της αξίας του Χ είναι μια συνάρτηση αφινικών Χ λιγότερο συχνά, όπου η γραμμική παλινδρόμηση μπορεί να αναφέρεται σε ένα μοντέλο στο οποίο η διάμεσος, ή κάποιο άλλο ποσοστημόριο της υποθετικής διανομής y που δίνεται X εκφράζεται ως γραμμική συνάρτηση του Χ Όπως όλες τις μορφές ανάλυσης παλινδρόμησης, η γραμμική παλινδρόμηση επικεντρώνεται στους όρους κατανομής πιθανότητας του y που δίνονται Χ αντί για την από κοινού πιθανότητα διανομής του Υ και Χ, η οποία είναι η και η περιοχή της πολυμεταβλητής ανάλυσης.

Η γραμμική παλινδρόμηση ήταν ο πρώτος τύπος της ανάλυσης παλινδρόμησης που μελετήθηκε αυστηρά, και προορίζεται να χρησιμοποιηθεί εκτενώς σε πρακτικές εφαρμογές. Αυτό συμβαίνει επειδή τα μοντέλα που εξαρτώνται γραμμικά από άγνωστες παραμέτρους τους είναι πιο εύκολο να χωρέσουν από τα μοντέλα τα οποία είναι μη-γραμμικά με παραμέτρους τους και επειδή οι στατιστικές ιδιότητες των προκυπτόντων εκτιμήσεων είναι εύκολο να προσδιοριστεί.

Η γραμμική παλινδρόμηση έχει πολλές πρακτικές χρήσεις. Οι περισσότερες εφαρμογές εμπίπτουν σε μία από τις ακόλουθες δύο ευρείες κατηγορίες:

Αν ο στόχος είναι η πρόβλεψη, ή η μείωση, η γραμμική παλινδρόμηση μπορεί να χρησιμοποιηθεί για να χωρέσει ένα προγνωστικό μοντέλο σε ένα παρατηρούμενο δεδομένο με Χ και Υ τιμές. Μετά από την ανάπτυξη ενός τέτοιου μοντέλου, μια πρόσθετη τιμή του Χ είναι τότε χωρίς την συνοδευτική αξία του y, όπου το μοντέλο μπορεί να χρησιμοποιηθεί για να κάνει μια πρόβλεψη της τιμής του y.
Δεδομένης μια μεταβλητής y και ενός αριθμού μεταβλητών $X_{1}$ , ..., $X_{p}$ που μπορεί να σχετίζονται με το y,η ανάλυση γραμμικής παλινδρόμησης μπορεί να εφαρμοστεί στην ποσοτικοποίηση της αντοχής της σχέσης μεταξύ Υ και του χ_j , προκειμένου να αξιολογηθεί η οποία σχέση χ_j με y καθόλου, και να προσδιορίσει ποιες υποκατηγορίες του χ_j περιέχουν περιττές πληροφορίες σχετικά με τοy.

Τα μοντέλα γραμμικής παλινδρόμησης συχνά χρησιμοποιούνται κατά την προσέγγιση λιγότερων τετραγώνων, αλλά μπορεί επίσης να χρησιμοποιηθεί με άλλους τρόπους, όπως με ελαχιστοποίηση της "έλλειψη προσαρμογής" σε κάποιο άλλο πρότυπο (όπως με τουλάχιστον παλινδρόμηση της απόλυτης αποκλίσεις). Αντιστρόφως, τουλάχιστον η προσέγγιση με τα τετράγωνα μπορεί να χρησιμοποιηθεί για να χωρέσει τα μοντέλα που δεν είναι γραμμικά μοντέλα. Έτσι, αν και οι όροι "ελαχίστων τετραγώνων" και "γραμμικό μοντέλο" συνδέονται στενά, δεν είναι συνώνυμοι.

Εισαγωγή στη γραμμική παλινδρόμηση

Λαμβάνοντας υπόψη ένα σύνολο δεδομένων $\{y_{i},\,x_{i1},\ldots ,x_{ip}\}_{i=1}^{n}$ των n στατιστικών μονάδων, ένα μοντέλο γραμμικής παλινδρόμησης υποθέτει ότι η σχέση μεταξύ της εξαρτημένης μεταβλητής y_i και το p-φορέα της παλινδρόμησης x_i είναι γραμμική. Η σχέση αυτή διαμορφώνεται μέσα από έναν όρο διαταραχής ή λάθος μεταβλητή ε_i - μία απαρατήρητη τυχαία μεταβλητή που προσθέτει θόρυβο με τη γραμμική σχέση ανάμεσα στην εξαρτημένη μεταβλητή και παλινδρόμηση. Έτσι, το μοντέλο παίρνει τη μορφή

y_{i}=\beta _{1}x_{i1}+\cdots +\beta _{p}x_{ip}+\varepsilon _{i}=\mathbf {x} _{i}^{\rm {T}}{\boldsymbol {\beta }}+\varepsilon _{i},\qquad i=1,\ldots ,n,

όπου ^T συμβολίζεται ο ανάστροφος, άρα x_i^Tβ είναι το εσωτερικό γινόμενο μεταξύ των διανυσμάτων x_i και β.

Συχνά αυτές οι n εξισώσεις στοιβάζονται μαζί και γράφονται σε μορφή φορέα όπως : $\mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},\,$ , όπου : $\mathbf {y} ={\begin{pmatrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{pmatrix}},\quad \mathbf {X} ={\begin{pmatrix}\mathbf {x} _{1}^{\rm {T}}\\\mathbf {x} _{2}^{\rm {T}}\\\vdots \\\mathbf {x} _{n}^{\rm {T}}\end{pmatrix}}={\begin{pmatrix}x_{11}&\cdots &x_{1p}\\x_{21}&\cdots &x_{2p}\\\vdots &\ddots &\vdots \\x_{n1}&\cdots &x_{np}\end{pmatrix}},\quad {\boldsymbol {\beta }}={\begin{pmatrix}\beta _{1}\\\beta _{2}\\\vdots \\\beta _{p}\end{pmatrix}},\quad {\boldsymbol {\varepsilon }}={\begin{pmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\vdots \\\varepsilon _{n}\end{pmatrix}}.$
Μερικές παρατηρήσεις σχετικά με την ορολογία και γενική χρήση:

$y_{i}\,$ ονομάζεται ενδογενής μεταβλητή , μεταβλητή απάντηση , μετρούμενη μεταβλητή , μεταβλητής κριτήριο , ή εξαρτημένη μεταβλητή Η απόφαση ως προς οποία μεταβλητή σε ένα σύνολο δεδομένων μοντελοποιείται ως εξαρτημένη μεταβλητή και ποια ως ανεξάρτητη μεταβλητή μπορεί να βασίζεται σε ένα τεκμήριο του οποίου η αξία προκαλείται από από τις μεταβλητές, ή επηρεάζεται άμεσα από τις άλλες μεταβλητές. Εναλλακτικά, μπορεί να υπάρχειένας λειτουργικός λόγος για να διαμορφώσει μία από τις μεταβλητές σε σχέση με τις άλλες, οπότε δεν χρειάζεται να υπάρχει τεκμήριο της αιτιότητας.
$x_{i1},\,x_{i2},\,\ldots ,\,x_{ip}\,$ $x_{i1},\,x_{i2},\,\ldots ,\,x_{ip}\,$ ονομάζονται ερμηνευτικές μεταβλητές , εξωγενείς μεταβλητές , ερμηνευτικές μεταβλητές , συμεταβλητές , μεταβλητές εισόδου , μεταβλητές πρόβλεψης , ή ανεξάρτητες μεταβλητές . Η μήτρα $\mathbf {X}$ $\mathbf {X}$ μερικές φορές ονομάζεται σχεδιασμός μήτρας
- Συνήθως μια σταθερή περιλαμβάνεται σε αυτές της παλινδρόμησης. Για παράδειγμα, μπορούμε να πάρουμε x_i1 = 1 for i = 1, ..., n. Το αντίστοιχο στοιχείο του 'β' καλείται τομή . Πολλές διαδικασίες στατιστικής συμπερασματολογίας για γραμμικά μοντέλα απαιτούν ένα σημείο τομής να είναι παρών, γι 'αυτό συχνά περιλαμβάνονται ακόμη και αν θεωρητικές εκτιμήσεις δείχνουν ότι η αξία του θα πρέπει να είναι μηδέν.
- Μερικές φορές, μία από τις παλινδρόμησης μπορεί να είναι μια μη-γραμμική συνάρτηση του άλλου παλινδρόμησης ή των δεδομένων, όπως στο πολυωνυμικής παλινδρόμησης και διαστήματα παλινδρόμησης. Το μοντέλο παραμένει γραμμικό όσο είναι γραμμική στο φορέα παράμετρο 'β' .
- 'X' Το στοιχειό x_ij μπορεί να θεωρηθεί είτε ως τυχαία μεταβλητή, την οποία απλά παρατηρούμε, ή μπορούν να θεωρηθεί ως προκαθορισμένη σταθερή αξία που μπορούμε να επιλέξουμε. Και οι δύο ερμηνείες μπορεί να είναι κατάλληλες σε διαφορετικές περιπτώσεις, και γενικά οδηγούν στις ίδιες διαδικασίες εκτίμησης. Ωστόσο, οι διαφορετικές προσεγγίσεις για ασυμπτωτική ανάλυση χρησιμοποιούνται σε αυτές τις δύο περιπτώσεις.
${\boldsymbol {\beta }}\,$ είναι μία p - διαστάσεων παράμετρος . Τα στοιχεία αυτά ονομάζεται επίσης αποτελέσματα , ή συντελεστές παλινδρόμησης .Η στατιστική θεωρία εκτίμησης και συμπερασματολογία στη γραμμική παλινδρόμηση επικεντρώνεται σε 'β' . Τα στοιχεία αυτής της παραμέτρου ερμηνεύοναι ως μερική παράγωγος s της εξαρτημένης μεταβλητής σε σχέση με τις διάφορες ανεξάρτητες μεταβλητές.
$\varepsilon _{i}\,$ ονομάζεται λανθασμένος όρος , διαταρακτικός όρος , ή θόρυβος . Αυτή η μεταβλητή y_i καλύπτει όλους τους άλλους παράγοντες που επηρεάζουν την εξαρτημένη μεταβλητή, εκτός από τις ερμηνευτικές μεταβλητές y_i. Η σχέση μεταξύ του όρου σφάλματος και τις μεταβλητές, για παράδειγμα αν είναι συσχετίζονται, είναι ένα κρίσιμο βήμα για τη διαμόρφωση ενός μοντέλου γραμμικής παλινδρόμησης, καθώς θα καθορίσει τη μέθοδο που θα χρησιμοποιηθεί για την εκτίμηση.

Παράδειγμα. Σκεφτείτε μια κατάσταση όπου μια μικρή μπάλα που πετιέται στον αέρα και στη συνέχεια μετράται το ύψος της ανόδου h_i σε διάφορες χρονικές στιγμές t_i. Φυσική μας λέει ότι, αγνοώντας την έλξη, η σχέση μπορεί να μοντελοποιηθεί ως

h_{i}=\beta _{1}t_{i}+\beta _{2}t_{i}^{2}+\varepsilon _{i},

όπου το β₁ καθορίζει την αρχική ταχύτητα της μπάλας, β₂ είναι ανάλογη προς το πρότυπο βαρύτητας, και ε_i οφείλεται σε σφάλματα μέτρησης.Η γραμμική παλινδρόμηση μπορεί να χρησιμοποιηθεί για την εκτίμηση των τιμών του β₁ και β₂ από τα μετρημένα αρχεία. Αυτό το μοντέλο είναι μη γραμμικό στη μεταβλητή του χρόνου, αλλά είναι γραμμικό ως προς τις παραμέτρους β₁ και β₂ αν λάβουμε παλινδρόμηση x_i = (x_i1, x_i2) = (t_i, t_i²) το μοντέλο παίρνει το τυποποιημένο έντυπο

h_{i}=\mathbf {x} _{i}^{\rm {T}}{\boldsymbol {\beta }}+\varepsilon _{i}.

Παραδοχές

Πρότυπα μοντέλα γραμμικής παλινδρόμησης με τυποποιημένες τεχνικές εκτίμησης κάνουν μια σειρά από υποθέσεις σχετικά με τις μεταβλητές πρόβλεψης, τις μεταβλητές απόκρισης και τη σχέση τους. Πολλές επεκτάσεις έχουν αναπτυχθεί που επιτρέπουν κάθε μία από αυτές τις υποθέσεις να χαλαρώσουν (δηλαδή μειώνεται σε μια ηπιότερη μορφή), και σε ορισμένες περιπτώσεις θα εξαλειφθούν εντελώς. Μερικές μέθοδοι είναι αρκετά γενική ώστε να μπορούν να χαλαρώσουν πολλαπλές υποθέσεις ταυτόχρονα, και σε άλλες περιπτώσεις, αυτό μπορεί να επιτευχθεί με συνδυασμό διαφορετικών επεκτάσεων. Γενικά αυτές οι επεκτάσεις καταστούν την διαδικασία εκτίμησης πιο σύνθετη και χρονοβόρα, και μπορεί επίσης να απαιτεί περισσότερα δεδομένα για να παράγει ένα εξίσου ακριβό μοντέλο.

Τα ακόλουθα είναι οι κύριες παραδοχές που έγιναν από τα συνήθη μοντέλα γραμμικής παλινδρόμησης με τυποποιημένες τεχνικές εκτίμησης (π.χ. η διαδικασία ελαχίστων τετραγώνων):

'Ασθενής εξωγενείς' . Αυτό ουσιαστικά σημαίνει ότι μπορούν να αντιμετωπιστούν οι μεταβλητές πρόβλεψης Χ ως σταθερές τιμές, παρά τυχαία μεταβλητή s. Αυτό σημαίνει, για παράδειγμα, ότι οι μεταβλητές πρόβλεψης θεωρείται ότι είναι χωρίς λάθη-που είναι, μη μολυσμένα με σφάλματα μέτρησης. Παρά το γεγονός ότι η υπόθεση αυτή δεν είναι ρεαλιστική σε πολλές ρυθμίσεις, οδηγεί σε πολύ πιο δύσκολο μοντέλο για τα σφάλματα των μεταβλητών s.
'Γραμμικότητα' . Αυτό σημαίνει ότι η μέση τιμή της μεταβλητής απόκρισης είναι ένας γραμμικός συνδυασμός των παραμέτρων (συντελεστές παλινδρόμησης) και οι μεταβλητές πρόβλεψης. Σημειώστε ότι αυτή η υπόθεση είναι πολύ λιγότερο περιοριστική από ό, τι μπορεί αρχικά να φαίνεται. Επειδή οι μεταβλητές πρόβλεψης αντιμετωπίζονται ως σταθερές τιμές (βλέπε παραπάνω), γραμμικότητα είναι πραγματικά μόνο ένας περιορισμός σχετικά με τις παραμέτρους. Οι ίδιες οι μεταβλητές πρόβλεψης μπορεί να μετασχηματιστούν αυθαίρετα, και στην πραγματικότητα μπορούν να προστεθούν πολλαπλά αντίγραφα της ίδιας υποκείμενης μεταβλητής πρόβλεψης, το καθένα μετασχηματισμένο με διαφορετικό τρόπο. Αυτό το τέχνασμα έχει χρησιμοποιηθεί, για παράδειγμα, στη πολυωνυμική παλινδρόμηση, το οποίο χρησιμοποιεί γραμμική παλινδρόμηση για να χωρέσει τη μεταβλητή απόκριση ως μια αυθαίρετη λειτουργία μιας μεταβλητής πρόβλεψης. Αυτό κάνει την γραμμική παλινδρόμηση μία εξαιρετικά ισχυρή μέθοδο εξαγωγής συμπερασμάτων. Στην πραγματικότητα, τα μοντέλα όπως η πολυωνυμική παλινδρόμηση είναι συχνά «πολύ ισχυρά". Ως αποτέλεσμα, κάποια είδη νομιμοποίησης (μαθηματικά) | νομιμοποίησης θα πρέπει να χρησιμοποιούνται τυπικά για να αποφεύγονται οι υπερβολικές λύσεις που προέρχονται από τη διαδικασία εκτίμησης. Κοινά παραδείγματα είναι παλινδρόμηση κορυφογραμμής και λάσο παλινδρόμησης. Bayesianγραμμικής παλινδρόμησης μπορεί επίσης να χρησιμοποιηθεί, η οποία από τη φύση της είναι περισσότερο ή λιγότερο ανοσοποιητική στο πρόβλημα της υπερπροσαρμογής. (Στην πραγματικότητα, κορυφογραμμή παλινδρόμησης και λάσο παλινδρόμησης μπορεί τόσο να θεωρηθούν ως ειδικές περιπτώσεις Bayesian γραμμικής παλινδρόμησης, με συγκεκριμένους τύπους πριν από τη διανομή s που τοποθετούνται με τους συντελεστές παλινδρόμησης.)
Συνεχής Μεταβλητότητα(αλλιώς ομοσκεδαστικότητα).Αυτό σημαίνει πως οι διαφορετικές μεταβλητές απόκρισης έχουν την ίδια μεταβλητότητα στα λάθη τους,ανεξάρτητα από τις τιμές των προβλεπόμενων μεταβλητών.Πρακτικά,αυτή η υπόθεση δεν ισχύει(δηλ. τα λάθη είναι ετεροσκεδαστικά)αν οι μεταβλητές απόκρισης μπορούν να ποικίλλουν σε μια ευρεία κλίμακα.Με σκοπό να αποφασίσουμε για τα ετερογενή λάθη μεταβλητότητας,ή πότε μια διάταξη υπολοίπων παραβιάζει τη δομή των υποθέσεων της ομοσκεδαστικότητας(το λάθος είναι εξ' ίσου μεταβλητό γύρω από την ''καλύτερη-ταιριαστή γραμμή'' για όλα τα σημεία του x),είναι συνετό να ψάξουμε για ένα αποτέλεσμα μεταξύ του υπόλοιπου λάθους και των προβλεπόμενων τιμών.Πρέπει να πούμε ότι θα υπάρχει μια συστηματική αλλαγή στο απόλυτο ή στο τετράγωνο των υπολοίπων όταν ''συνωμοτούν'' σε βάρος του προβλεπόμενου αποτελέσματος. Το λάθος δε θα είναι ομοιόμορφα κατανεμημένο στη γραμμή παλινδρόμησης.Η ετεροσκεδαστικότητα θα συνεισφέρει στο να ανεβάσει το μέσο όρο των διακριτών μεταβλητών γύρω από τα σημεία για να μια μοναδική μεταβλητή που ανακριβώς αναπαριστά όλες τις μεταβλητές της γραμμής. Συνεπώς,τα υπόλοιπα εμφανίζονται συσσωρευμένα και απλωμένα στις προβλεπόμενες παραστάσεις τους για μεγαλύτερες ή μικρότερες τιμές για σημεία πάνω στη γραμμή παλινδρόμησης και το νόημα της παράστασης θα είναι λάθος.Τυπικά ,για παράδειγμα, μια μεταβλητή απόκρισης που η σύγκλισή της είναι μεγάλη θα έχει μεγαλύτερη διασπορά από μια που η σύγκλισή της είναι μικρή.Για παράδειγμα,ένας συγκεκριμένος άνθρωπος που το εισόδημά του προβλέπεται στα μπορεί εύκολα να έχει ένα πραγματικό εισόδημα ή (μια τυπική απόκλιση γύρω στις ),όταν ένας άλλος άνθρωπος με προβλεπόμενο εισόδημα είναι απίθανο να έχει την ίδια τυπική απόκλιση των ,η οποία σημαίνει ότι το πραγματικό τους εισόδημα θα ποίκιλλε οπουδήποτε μεταξύ των - και των .(Στην πραγματικότητα,αυτό δείχνει,σε πολλές περιπτώσεις-συχνά στις ίδιες περιπτώσεις όπου η υπόθεση των κανονικά κατανεμημένων σφαλμάτων-η διακύμανση ή η τυπική απόκλιση θα έπρεπε να προβλέπεται να είναι ανάλογη με τη τιμή,παρά με τη συνέχεια.)Οι απλές μέθοδοι γραμμικής παλινδρόμησης και εστίασης δίνουν λιγότερη ακρίβεια στην εκτίμηση των παραμέτρων και χάνουν σημαντικές ποσότητες όπως σίγουρα λάθη όταν ουσιαστικά η ετεροσκεδαστικότητα υπάρχει.Ωστόσο,πολλές τεχνικές εστίασης (π.χ.η [proportional στάθμιση ελαχίστων τετραγώνων] και η ετεροσκεδαστικότητα-με συνεχή σφάλματα)μπορούν να χειριστούν την ετεροσκεδαστικότητα με έναν απλό γενικό τρόπο.Οι τεχνικές της Μπευζιανής γραμμικής παλινδρόμησης μπορούν ακόμα να χρησιμοποιηθούν όταν η διακύμανση φέρεται να είναι συνάρτηση της τιμής.Είναι ακόμα πιθανό σε μερικές περιπτώσεις να διορθώσεις ένα πρόβλημα με το να εφαρμόζεις μια αλλαγή στην διακριτή μεταβλητή(π.χ.να ταιριάξεις ένα λογάριθμο της διακριτής μεταβλητής χρησιμοποιώντας μια μέθοδο γραμμικής παλινδρόμησης,η οποία σημαίνει ότι η διακριτή μεταβλητή έχει μια ευρεία κανονική κατανομή από ότι μια απλή κανονική κατανομή.
'Ανεξαρτησία' λαθών. Αυτό προϋποθέτει ότι τα σφάλματα των μεταβλητών απόκρισης είναι ασύνδετα μεταξύ τους. (Πραγματική στατιστική ανεξαρτησία. Είναι μια ισχυρότερη κατάσταση από την απλή έλλειψη συσχέτισης και συχνά δεν είναι απαραίτητη, αν και μπορεί να αξιοποιηθεί, εάν είναι γνωστό για να κρατήσει) Ορισμένες μέθοδοι είναι σε θέση να χειρίζονται σφάλματα, αν και συνήθως απαιτούν πολύ περισσότερα δεδομένα, εκτός αν κάποιο είδος νομιμοποίησης χρησιμοποιείται για την πόλωση του μοντέλου για την παραδοχή ασυσχέτιστες λάθη. Μπεϋζιανή γραμμική παλινδρόμηση είναι ένας γενικός τρόπος χειρισμού αυτού του θέματος.
'Έλλειψη πολυσυγγραμμικότητας' στους προγνωστικούς παράγοντες. Για πρότυπο ελαχίστων τετραγώνων μέθοδοι εκτίμησης, η μήτρα σχεδιασμού Χ πρέπει να έχει πλήρη βαθμίδα στήλης p ! Αλλιώς, έχουμε μια κατάσταση που είναι γνωστή ως πολυσυγγραμμικότητα στις μεταβλητές πρόβλεψης. Αυτό μπορεί να προκληθεί από την κατοχή δύο ή περισσότερων τέλεια συσχετισμένων μεταβλητών πρόβλεψης (π.χ. αν η ίδια μεταβλητή πρόβλεψης λανθασμένα δίνεται δύο φορές, είτε χωρίς μετατροπή ενός από τα αντίγραφα ή με τη μετατροπή ενός από τα αντίγραφα γραμμικά). Μπορεί επίσης να συμβεί εάν υπάρχουν πάρα πολύ λίγα διαθέσιμα δεδομένα σε σχέση με τον αριθμό των παραμέτρων που πρέπει να υπολογίζεται (π.χ. λιγότερα σημεία δεδομένων από συντελεστές παλινδρόμησης). Στην περίπτωση πολυσυγγραμμικότητας, το διάνυσμα παραμέτρων β θα είναι μη αναγνωρίσιμο - δεν έχει μοναδική λύση. Στην καλύτερη περίπτωση θα είναι σε θέση να εντοπίσει κάποιες από τις παραμέτρους, δηλαδή περιορίζετε η αξία του σε κάποιο γραμμικό υπόχωρο του 'R' ^p . Μέθοδοι για την τοποθέτηση γραμμικών μοντέλων με πολυσυγγραμμικότητα έχουν αναπτυχθεί? μερικοί απαιτούν επιπλέον παραδοχές, όπως η «επίδραση αραιότητας» -δηλαδή ένα μεγάλο μέρος από τα αποτελέσματα είναι ακριβώς μηδέν. Σημειώστε ότι τα περισσότερα υπολογιστικά ακριβά επαναληπτικών αλγορίθμων για την εκτίμηση των παραμέτρων, όπως αυτές που χρησιμοποιούνται σε γενικευμένο γραμμικό μοντέλο s, δεν υποφέρουν από αυτό το πρόβλημα, και στην πραγματικότητα αυτό είναι απολύτως φυσιολογικό κατά τον χειρισμό κατηγορηματικά αποτιμώνται προγνωστικοί παράγοντες σε μια ξεχωριστή μεταβλητή δείκτη προγνωστικός δείκτης για κάθε πιθανή κατηγορία, η οποία εισάγει αναπόφευκτα πολυσυγγραμμικότητα. Πέρα από αυτές τις υποθέσεις, αρκετές άλλες στατιστικές ιδιότητες των δεδομένων επηρεάζει σημαντικά την απόδοση των διαφορετικών μεθόδων εκτίμησης: * Η στατιστική σχέση μεταξύ των όρων σφάλματος και τις ερμηνευτικές μεταβλητές παίζει σημαντικό ρόλο στον καθορισμό του κατά πόσον η διαδικασία εκτίμησης έχει επιθυμητές ιδιότητες δειγματοληψίας, όπως είναι αμερόληπτοι και συνεπείς. * Η ρύθμιση ή κατανομής πιθανότητας του «x» »έχει μια σημαντική επιρροή των μεταβλητών πρόβλεψης σχετικά με την ακρίβεια των εκτιμήσεων των β . Δειγματοληψία και σχεδιασμός των πειραμάτων ειναι τα ανεπτυγμένα υποπεδία των στατιστικών στοιχείων που παρέχουν καθοδήγηση για τη συλλογή δεδομένων με τέτοιο τρόπο για να επιτευχθεί μια ακριβής εκτίμηση της β .

Ερμηνεία

Ένα μοντέλο εφοδιασμένο με γραμμική παλινδρόμηση μπορεί να χρησιμοποιηθεί για τον προσδιορισμό της σχέσης μεταξύ μιας μόνο μεταβλητής πρόβλεψης x_j και μιας μεταβλητής απόκρισης y όταν όλες οι άλλες μεταβλητές πρόβλεψης στο μοντέλο "κρατούνται σταθερές". Συγκεκριμένα, η ερμηνεία του β_j είναι η αναμένεται αλλαγή στην y για αλλαγή μιας μονάδας στο x_j όταν οι άλλες συμμεταβλητές παραμένουν σταθερές, που είναι η αναμενόμενη τιμή της μερικής παραγώγου του y σε σχέση με x_j. Αυτό μερικές φορές ονομάζεται το μοναδικό αποτέλεσμα της x_j με θέμα y . Σε αντίθεση, η οριακή επίδραση του x_j με θέμα y μπορεί να αξιολογηθεί χρησιμοποιώντας συντελεστή συσχέτισης ή απλή γραμμική παλινδρόμηση μοντέλων, αφορούν x_j τo y Αυτή η επίδραση είναι το συνολικό παράγωγο του y σε σχέση με την x_j. Πρέπει να δοθεί προσοχή κατά την ερμηνεία των αποτελεσμάτων παλινδρόμησης, καθώς κάποιες από τις παλινδρομήσεις δεν μπορεί να επιτραπεί για οριακές αλλαγές (όπως ψευδομεταβλητές, ή ο όρος τομής), ενώ άλλες δεν μπορούν να θεωρηθούν σταθερές (ας θυμηθούμε το παράδειγμα από την εισαγωγή: θα ήταν αδύνατο σε "t_i σταθερό" και την ίδια στιγμή να μεταβάλει την τιμή της t_i²).

Είναι πιθανό ότι το μοναδικό αποτέλεσμα μπορεί να είναι σχεδόν μηδέν, ακόμα και όταν το οριακό αποτέλεσμα είναι μεγάλο. Αυτό μπορεί να σημαίνει ότι κάποια άλλη συνμεταβλητή καταγράφει όλες τις πληροφορίες x_j, έτσι ώστε, όταν η μεταβλητή είναι στο μοντέλο, δεν υπάρχει καμία συμβολή των Χ _j στη μεταβολή των ' 'y' '. Αντίθετα, η μοναδική επίδραση της x_j μπορεί να είναι μεγάλη, ενώ το οριακό αποτέλεσμα είναι σχεδόν μηδενική. Αυτό θα συνέβαινε αν οι άλλες συμμεταβλητές εξηγούν τη μεγάλη διακύμανση του y , αλλά κυρίως εξηγούν παραλλαγή με έναν τρόπο που είναι συμπληρωματικό με αυτό που συλλαμβάνεται από x_j. Στην περίπτωση αυτή, συμπεριλαμβανομένων και των άλλων μεταβλητών το μοντέλο μειώνει το μέρος διακύμανσης των y που δεν έχει σχέση με x_j, ενισχύοντας έτσι την προφανή σχέση με x_j. Η έννοια της έκφρασης "κρατούμενη σταθερά" μπορεί να εξαρτάται από το πώς προκύπτουν οι τιμές των μεταβλητών πρόβλεψης. Εάν ο πειραματιστής καθορίζει άμεσα τις τιμές των μεταβλητών πρόβλεψης σύμφωνα με μια σχεδίαση μελέτης,όπου οι συγκρίσεις του ενδιαφέροντος μπορεί κυριολεκτικά να αντιστοιχούν σε συγκρίσεις μεταξύ των οποίων οι μονάδες πρόβλεψης μεταβλητών έχουν "κρατούμενη σταθερά" από τον πειραματιστή. Εναλλακτικά, η έκφραση "κρατούμενη σταθερά" μπορεί να αναφέρεται σε μια επιλογή που πραγματοποιείται στο πλαίσιο της ανάλυσης δεδομένων. Σε αυτή την περίπτωση, θα «κρατήσουμε μεταβλητή σταθερά" περιορίζοντας την προσοχή μας στα υποσύνολα των δεδομένων που τυχαίνει να έχουν μια κοινή τιμή για τη συγκεκριμένη μεταβλητή πρόβλεψης. Αυτή είναι η μόνη ερμηνεία της "κρατούμενης σταθεράς" που μπορεί να χρησιμοποιηθεί σε μια μελέτη παρατήρησης. Η έννοια του «μοναδικού φαινομένου" είναι ελκυστική όταν μελετά ένα πολύπλοκο σύστημα όπου πολλαπλά αλληλένδετα συστατικά επηρεάζουν τη μεταβλητή απόκρισης. Σε ορισμένες περιπτώσεις, μπορεί κυριολεκτικά να ερμηνευθεί ως η αιτιώδης επίδραση μιας παρέμβασης που συνδέεται με την τιμή μιας μεταβλητής πρόβλεψης. Ωστόσο, έχει υποστηριχθεί ότι σε πολλές περιπτώσεις η ανάλυση πολλαπλής παλινδρόμησης δεν αποσαφηνίζει τις σχέσεις μεταξύ των μεταβλητών πρόβλεψης και της μεταβλητής απόκρισης όταν οι προγνωστικοί παράγοντες συσχετίζονται μεταξύ τους και δεν έχουν εκχωρηθεί μετά από ένα σχέδιο μελέτης.^[1] Μια ανάλυση των κοινών χαρακτηριστικών μπορεί να είναι χρήσιμη για την απεμπλοκή των κοινών και μοναδικών επιπτώσεων των συσχετισμένων ανεξάρτητων μεταβλητών . Πέρα από την πολλαπλή παλινδρόμηση: Χρησιμοποιώντας την ανάλυση των κοινών χαρακτηριστικών κατανοούνται καλύτερα τα αποτελέσματα. ==Επεκτάσεις== Πολυάριθμες επεκτάσεις γραμμικής παλινδρόμησης έχουν αναπτυχθεί, οι οποίες επιτρέπουν ορισμένες ή όλες από τις υποθέσεις να στηρίζονται στο βασικό μοντέλο για να χαλαρώσουν.

Απλή και πολλαπλή παλινδρόμηση

Η πολύ απλούστερη περίπτωση μίας ενιαίας βαθμωτής (μαθηματικά) | βαθμωτής μεταβλητής πρόβλεψης Χ και μιας ενιαίας μεταβλητής απάντησης y είναι γνωστή ως απλή γραμμική παλινδρόμηση . Η επέκταση σε πολλαπλές και / ή Ευκλείδειος φορέας | διάνυσμα - αποτιμώνται μεταβλητές πρόβλεψης (συμβολίζεται με κεφάλαιο Χ ) είναι γνωστή ως πολλαπλά γραμμικής παλινδρόμησης , γνωστό και ως πολυμεταβλητή γραμμικής παλινδρόμησης » ». Σχεδόν όλα τα μοντέλα παλινδρόμησης του πραγματικού κόσμου περιλαμβάνουν πολλαπλούς προγνωστικούς παράγοντες, και οι βασικές περιγραφές της γραμμικής παλινδρόμησης συχνά διατυπώνονται όσον αφορά το μοντέλο πολλαπλής παλινδρόμησης. Σημειώστε, ωστόσο, ότι σε αυτές τις περιπτώσεις η μεταβλητή απόκρισης 'y' είναι ακόμα μια βαθμωτή. Ένας άλλος όρος πολυμεταβλητή γραμμική παλινδρόμηση αναφέρεται σε περιπτώσεις κατά τις οποίες ο y είναι ένας φορέας, δηλαδή, το ίδιο με τη γενική γραμμική παλινδρόμηση . Η διαφορά μεταξύ πολυπαραγοντικής γραμμικής παλινδρόμησης και πολυμεταβλητής γραμμικής παλινδρόμησης θα πρέπει να τονιστεί καθώς προκαλεί μεγάλη σύγχυση και παρεξήγηση στη βιβλιογραφία.

Γενικά γραμμικά μοντέλα

Ως γενικό γραμμικό μοντέλο θεωρείται η κατάσταση όταν η μεταβλητή απόκρισης Υ δεν είναι ένα βαθμωτό αλλά ένα διάνυσμα. Υπό όρους η γραμμικότητα της Ε ( y | Χ ) & nbsp? = & Nbsp? Bx εξακολουθεί να θεωρείται, με ένα διάνυσμα Β που αντικαθιστά τον φορέα β του κλασικού μοντέλου γραμμικής παλινδρόμησης. Οι Multivariate ανάλογα των OLS και GLS έχουν αναπτυχθεί. Ο όρος «γενικά γραμμικά μοντέλα" είναι ισοδύναμος με "πολυμεταβλητά γραμμικά μοντέλα". Θα πρέπει να σημειωθεί η διαφορά των "πολλών μεταβλητών γραμμικών μοντέλων» και «πολυπαραγοντικών γραμμικά μοντέλων" εφόσον η πρώτη είναι η ίδια όπως τα "γενικά γραμμικά μοντέλα» και η δεύτερη είναι η ίδια όπως τα "πολλαπλά γραμμικά μοντέλα."

Μοντέλα ετεροσκεδαστικά

Διάφορα μοντέλα έχουν δημιουργηθεί που επιτρέπουν την ετεροσκεδαστικότητα, δηλαδή τα σφάλματα για διαφορετικές μεταβλητές απόκρισης μπορεί να έχουν διαφορετικές διακυμάνσεις s. Για παράδειγμα, σταθμισμένων ελαχίστων τετραγώνων είναι μια μέθοδος για την εκτίμηση γραμμικών μοντέλων παλινδρόμησης, όταν οι μεταβλητές απόκρισης μπορεί να έχουν διαφορετικές διακυμάνσεις σφαλμάτων, πιθανόν με συσχετισμένα σφάλματα. Ετεροσκεδαστικότητα είναι μια βελτιωμένη μέθοδος για χρήση με ασυσχέτιστες αλλά δυνητικά ετεροσκεδαστικά λάθη.

Γενικευμένα γραμμικά μοντέλα

Γενικευμένο γραμμικό μοντέλο s (GLMS) είναι ένα πλαίσιο για την μοντελοποίηση μεταβλητών αντίδρασης y που οριοθετούνται διακριτικά. Αυτό χρησιμοποιείται, για παράδειγμα: * Όταν στη μοντελοποίηση θετικών ποσοτήτων (π.χ. τιμές ή πληθυσμοί) που ποικίλλουν κατά τη διάρκεια μιας μεγάλης κλίμακας, τα οποία περιγράφονται καλύτερα χρησιμοποιώντας ασύμμετρη κατανομή, όπως η log-κανονική κατανομή ή κατανομή Poisson (αν και η GLMS δεν χρησιμοποιούνται για log-normal δεδομένων, αντί της μεταβλητής απόκρισης απλά μετασχηματίζεται χρησιμοποιώντας τη συνάρτηση λογάριθμου)? * Όταν το πρότυπο κατηγορικό δεδομένο, όπως η επιλογή ενός υποψηφίου σε μία εκλογή (η οποία περιγράφεται καλύτερα χρησιμοποιώντας Bernoulli διανομή / διωνυμική κατανομή για τις δυαδικές επιλογές, ή κατηγορηματικής διανομής / πολυωνυμική κατανομή για multi-way επιλογές), όπου υπάρχει σταθερός αριθμός των επιλογών που δεν μπορούν λογικά να παραγγείλει? * Όταν το πρότυπο τακτικών δεδομένων, π.χ. αξιολογήσεις σε μια κλίμακα 0-5, όπου τα διαφορετικά αποτελέσματα μπορούν να παραγγελθούν, αλλά όταν η ίδια η ποσότητα δεν μπορεί να έχει οποιαδήποτε απόλυτη έννοια (π.χ. η βαθμολογία 4 δεν μπορεί να είναι «δύο φορές τόσο καλή" σε οποιαδήποτε αντικειμενική έννοια, ως βαθμολογία 2 , αλλά απλώς δείχνει ότι είναι καλύτερη από 2 ή 3, αλλά όχι τόσο καλή όσο 5). Γενικευμένα γραμμικά μοντέλα επιτρέπουν για μια αυθαίρετη λειτουργία συνδέσμου G που σχετίζεται με τη σημασία της μεταβλητής απόκρισης στους προγνωστικούς παράγοντες, δηλαδή Ε ( y ') =' ' ζ ( β 'x' '). Η λειτουργία σύνδεσης συχνά σχετίζεται με τη διανομή της απόκρισης, και ιδίως έχει συνήθως ως αποτέλεσμα τη μετατροπή μεταξύ του φάσματος της γραμμικής προγνωστικά και το εύρος των μεταβλητών απόκρισης. Μερικά συνηθισμένα παραδείγματα GLMS είναι: * Παλινδρόμηση Poisson για τα δεδομένα καταμέτρησης. * Λογιστική παλινδρόμηση και probit παλινδρόμηση για δυαδικά δεδομένα. * Πολυωνυμική λογιστική παλινδρόμηση και multinomial probit παλινδρόμηση για κατηγορικά δεδομένα. * Διάταξη probit παλινδρόμησης για τακτικά δεδομένα. === Ιεραρχικά γραμμικά μοντέλα === Ιεραρχικά γραμμικά μοντέλα (ή η πολυεπίπεδη παλινδρόμηση ) οργανώνουν τα δεδομένα σε μια ιεραρχία παλινδρομήσεων, για παράδειγμα, όπου Α υποχωρεί στο Β , και το Β έχει εξασθενήσει με θέμα C . Συχνά χρησιμοποιείται όταν τα δεδομένα έχουν μια φυσική ιεραρχική δομή, όπως στην εκπαιδευτική στατιστική, όπου οι μαθητές είναι ένθετα μέσα στην τάξη, οι τάξεις ένθετα στα σχολεία και τα σχολεία ένθετα σε κάποια διοικητική ομάδα, όπως μια σχολική περιφέρεια. Η μεταβλητή απάντηση θα μπορούσε να είναι ένα μέτρο των επιδόσεων των μαθητών, όπως ένα σκορ δοκιμασία, και διάφορες συμεταβλητές θα εισπραχθούν στα επίπεδα τάξη, το σχολείο, και την περιοχή του σχολείου. === Λάθη σε μεταβλητές === Λάθη σε μεταβλητό μοντέλο s (ή "μέτρηση μοντέλου σφάλματος») επεκτείνει το παραδοσιακό μοντέλο γραμμικής παλινδρόμησης για να επιτρέψει στις μεταβλητές πρόβλεψης Χ που πρέπει να τηρούνται με σφάλμα. Αυτό το σφάλμα προκαλεί πρότυπο εκτίμησης του β για να γίνει μεροληπτικό. Γενικά, η μορφή του είναι μια προκατάληψη εξασθένησης, που σημαίνει ότι οι επιπτώσεις ωθούν προς το μηδέν.

Άλλα

Στη θεωρία Dempster-Shafer, ή στη γραμμική συνάρτηση ειδικότερα, ένα μοντέλο γραμμικής παλινδρόμησης μπορεί να αντιπροσωπεύεται ως εν μέρει έναν πίνακα, το οποίο μπορεί να συνδυαστεί με παρόμοιους πίνακες που αντιπροσωπεύουν τις παρατηρήσεις και άλλες θεωρίες όπου έχουν κανονική κατανομή και καταστατικές εξισώσεις. Ο συνδυασμός τους σαρώνεται και με μια εναλλακτική μέθοδο για την εκτίμηση γραμμικών μοντέλων παλινδρόμησης. == Μέθοδοι εκτίμησης == Ένας μεγάλος αριθμός διαδικασιών έχουν αναπτυχθεί για την παράμετρο εκτίμηση και το συμπέρασμα σε γραμμική παλινδρόμηση. Αυτές οι μέθοδοι διαφέρουν σε υπολογιστική απλότητα των αλγορίθμων, παρουσία ενός διαλύματος κλειστής μορφής, ευρωστία σε σχέση με τις κατανομές, και τις θεωρητικές υποθέσεις που απαιτούνται για την επικύρωση επιθυμητών στατιστικών ιδιοτήτων όπως η συνεπής εκτίμηση | συνοχή και η ασυμπτωτική αποδοτικότητα (στατιστική) | αποτελεσματικότητα. Μερικές από τις πιο κοινές τεχνικές εκτίμησης για γραμμική παλινδρόμηση συνοψίζονται παρακάτω.

Μέθοδοι εκτίμησης

Ένας μεγάλος αριθμός διαδικασιών έχουν αναπτυχθεί για την παράμετρο εκτίμηση και το συμπέρασμα σε γραμμική παλινδρόμηση. Αυτές οι μέθοδοι διαφέρουν σε υπολογιστική απλότητα των αλγορίθμων, παρουσία ενός διαλύματος κλειστής μορφής, ευρωστία σε σχέση με τις κατανομές, και τις θεωρητικές υποθέσεις που απαιτούνται για την επικύρωση επιθυμητών στατιστικών ιδιοτήτων όπως η συνεπής εκτίμηση | συνοχή και η ασυμπτωτική αποδοτικότητα (στατιστική) | αποτελεσματικότητα. Μερικές από τις πιο κοινές τεχνικές εκτίμησης για γραμμική παλινδρόμηση συνοψίζονται παρακάτω.

Τεχνικές εκτίμησης ελαχίστων τετραγώνων και σχετικών τεχνικών

Τακτική ελαχίστων τετραγώνων' (OLS) είναι το απλούστερο και επομένως η πιο κοινή εκτίμηση. Είναι εννοιολογικά απλή και υπολογιστικά επίσης. OLS εκτιμήσεις χρησιμοποιούνται συνήθως για την ανάλυση τόσο των πειραμάτων όσο και της μελέτης παρατήρησης | παρατήρησης δεδομένων. Η μέθοδος OLS ελαχιστοποιεί το άθροισμα των τετραγώνων, και οδηγεί σε μια έκφραση κλειστής μορφής για την εκτιμώμενη αξία της άγνωστης παραμέτρου β : : $\operatorname {E} [\,\mathbf {x} _{i}\varepsilon _{i}\,]=0.$ Ο εκτιμητής είναι αμερόληπτος και συνεπής αν τα σφάλματα έχουν πεπερασμένη διακύμανση και είναι ασυσχέτιστες με τις ερμηνευτικές μεταβλητές. Είναι επίσης αποτελεσματική με την παραδοχή ότι τα σφάλματα έχουν πεπερασμένη διακύμανση, πράγμα που σημαίνει ότι E[ε_i²|x_i] δεν εξαρτάται από το i. Η προϋπόθεση ότι τα λάθη είναι ασυσχέτιστα με τις ερμηνευτικές μεταβλητές θα είναι γενικά ικανοποιητικοί σε ένα πείραμα, αλλά στην περίπτωση των παρατηρησιακών δεδομένων, είναι δύσκολο να αποκλειστεί η πιθανότητα μιας συνμεταβλητή z που σχετίζεται τόσο με τις παρατηρούμενες συνμεταβλητές και τη μεταβλητή απόκρισης . Η ύπαρξη ενός τέτοιου συνμεταβλητή θα οδηγήσει γενικά σε μια συσχέτιση μεταξύ των ερμηνευτικών μεταβλητών και τη μεταβλητή απόκρισης, και ως εκ τούτου σε ασυνεπή εκτιμητής β. Η κατάσταση της ομοσκεδαστικότητας μπορεί να αποτύχει με πειραματικά ή παρατηρησιακά δεδομένα. Αν ο στόχος είναι είτε συμπέρασμα ή προγνωστική μοντελοποίηση, η απόδοση των OLS εκτιμήσεων μπορεί να είναι κακή, αν η πολυσυγγραμμικότητα είναι άμεση, εκτός εάν το μέγεθος του δείγματος είναι μεγάλο. Είναι επίσης αποτελεσματική με την παραδοχή ότι τα σφάλματα έχουν πεπερασμένη διακύμανση και είναι ομοσκεδαστικά, πράγμα που σημαίνει ότι E[εi2|xi] δεν εξαρτάται από το i. Η προϋπόθεση ότι τα λάθη είναι ασυσχέτιστα με τις ερμηνευτικές μεταβλητές θα είναι γενικά ικανοποιημένη σε ένα πείραμα, αλλά στην περίπτωση των παρατηρησιακών δεδομένων, είναι δύσκολο να αποκλειστεί η πιθανότητα μιας παραλειπόμενης συνμεταβλητής z που σχετίζεται τόσο με τις παρατηρούμενες συμμεταβλητές και τη μεταβλητή απόκρισης . Η ύπαρξη μιας τέτοιας συνμεταβλητής θα οδηγήσει γενικά σε μια συσχέτιση μεταξύ των ερμηνευτικών μεταβλητών και τη μεταβλητή απόκρισης, και ως εκ τούτου σε ασυνεπή εκτιμητή β. Η κατάσταση της ομοσκεδαστικότητας μπορεί να αποτύχει με πειραματικά ή παρατηρησιακά δεδομένα. Αν ο στόχος είναι είτε συμπέρασμα ή προγνωστική μοντελοποίηση, η απόδοση των OLS εκτιμητών μπορεί να είναι κακή, αν υπαρχει πολυσυγγραμμικότητα , εκτός εάν το μέγεθος του δείγματος είναι μεγάλο. Στην απλή γραμμική παλινδρόμηση, όπου υπάρχει μόνο ένας συντελεστής παλινδρόμησης (με σταθερά), οι εκτιμήσεις συντελεστή OLS έχουν μια απλή μορφή που έχει στενή σχέση με τον συντελεστή συσχέτισης μεταξύ της συμμεταβλητής και της ανταπόκρισης * Η γενίκευση ελαχίστων τετραγώνων (GLS) είναι μια προέκταση της μεθόδου OLS, που επιτρέπει την αποτελεσματική εκτίμηση του β όταν υπάρχει ειτε ετεροσκεδαστικότητα ή συσχετισμοί, ή και τα δύο, μεταξύ των όρων σφάλματος του μοντέλου, όσο η μορφή της ετεροσκεδαστικότητας και συσχέτισης είναι γνωστή ανεξάρτητα από τα δεδομένα. Για να χειριστεί την ετεροσκεδαστικότητα όταν οι όροι σφάλματος είναι ασυσχέτιστοι μεταξύ τους, η GLS ελαχιστοποιεί το σταθμισμένο αναλογία με το άθροισμα των τετραγώνων των καταλοίπων από την OLS παλινδρόμηση, όπου το βάρος για την περίπτωση i-είναι αντιστρόφως ανάλογο προς var (εi). Αυτή η ειδική περίπτωση του GLS ονομάζεται "σταθμισμένων ελαχίστων τετραγώνVVων". Η λύση GLS στο πρόβλημα της εκτίμησης είναι:όπου Ω είναι η μήτρα συνδιακύμανσης των σφαλμάτων.Η GLS μπορεί να θεωρηθεί ως εφαρμογή ενός γραμμικού μετασχηματισμού των δεδομένων, έτσι ώστε οι παραδοχές του OLS να πληρούνται για τα μετασχηματισμένα δεδομένα. Για να εφαρμοστεί η GLS, η δομή συνδιακύμανσης των λαθών πρέπει να είναι γνωστή με μία πολλαπλασιαζόμενη σταθερά.
Το ποσοστό ελαχίστων τετραγώνων εστιάζει στη μείωση του ποσοστού των σφαλμάτων, η οποία είναι χρήσιμη στον τομέα της πρόβλεψης ή του χρόνου ανάλυση σειράς. Είναι επίσης χρήσιμη σε καταστάσεις όπου η εξαρτημένη μεταβλητή έχει ένα ευρύ φάσμα χωρίς συνεχή διακύμανση, καθώς εδώ τα μεγαλύτερα κατάλοιπα στο άνω άκρο του εύρους θα κυριαρχήσουν αν χρησιμοποιούνταν OLS. Όταν διανέμεται κανονικά το ποσοστό ή το σχετικό σφάλμα, το μικρότερο ποσοστό τετραγώνων παρέχει εκτιμήσεις μέγιστης πιθανότητας. Το ποσοστό παλινδρόμησης συνδέεται με ένα πολλαπλασιαστικό μοντέλο σφάλματος, ενώ η OLS συνδέεται με τα μοντέλα που περιέχουν έναν πρόσθετο όρο σφάλματος. * Η επαναληπτική επαναστάθμιση ελαχίστων τετραγώνων (IRLS) χρησιμοποιείται όταν η ετεροσκεδαστικότητα, ή συσχετισμοί, ή και τα δύο είναι παρόντα μεταξύ των όρων σφάλματος του μοντέλου, αλλά όπου λίγα είναι γνωστά σχετικά με τη δομή συνδιακύμανσης των σφαλμάτων ανεξάρτητα από τα δεδομένα. Στην πρώτη επανάληψη, OLS, ή GLS με προσωρινή δομή συνδιασποράς διεξάγεται, και τα κατάλοιπα που προέρχονται από την εφαρμογή. Με βάση τα κατάλοιπα, μπορεί συνήθως να ληφθεί μία βελτιωμένη εκτίμηση της δομής συνδιακύμανσης των σφαλμάτων.Έπειτα, μια επακόλουθη GLS επανάληψη εκτελείται χρησιμοποιώντας την εκτίμηση της δομής σφάλματος να καθορίσει τα βάρη. Η διαδικασία μπορεί να επαναληφθεί για σύγκλιση, αλλά σε πολλές περιπτώσεις, μόνο μία επανάληψη είναι επαρκής για να επιτευχθεί μια αποτελεσματική εκτίμηση του β.
Ενόργανες παλινδρομικές μεταβλητές (IV) μπορεί να πραγματοποιηθούν όταν οι παλινδρόμησεις συσχετίζονται με τα σφάλματα. Σε αυτή την περίπτωση, χρειαζόμαστε την ύπαρξη κάποιων βοηθητικών μεταβλητών zi τέτοια ώστε Ε [ziεi] = 0. Αν το Ζ είναι η μήτρα των μέσων, τότε ο εκτιμητής μπορεί να δοθεί σε κλειστή μορφή ως * Βέλτιστα μέσα παλινδρόμησης είναι μια επέκταση της κλασικής IV παλινδρόμησης στην κατάσταση όπου E [εi | zi] = 0. * Σύνολο ελαχίστων τετραγώνων (TLS) είναι μια προσέγγιση για την εκτίμηση των μικροτερων τετραγώνων του γραμμικού μοντέλου παλινδρόμησης που θα αντιμετωπίζει τις συμεταβλητές και μεταβλητες απόκρισης σε ένα γεωμετρικά συμμετρικό τρόπο από ό, τι η OLS. Είναι μια προσέγγιση για την αντιμετώπιση των "σφαλμάτων σε μεταβλητές" πρόβλημα, και μερικές φορές χρησιμοποιείται όταν οι συμμεταβλητές υποτίθεται ότι είναι χωρίς λάθη.

Μέγιστη πιθανότητα εκτίμησης και σχετικές τεχνικές

Η μέγιστη πιθανότητα εκτίμησης και οι σχετικές τεχνικές μπορούν να παρασταθούν όταν η κατανομή του σφάλματος στους όρους ως γνωστόν ανήκει σε μια ορισμένη παραμετρική ομάδα ƒ_θ με κατανομή πιθανοτήτων.Όταν η f_θ είναι μία κανονική κατανομή με μέσο 0 και διασπορά θ,η τελική εκτίμηση είναι παρόμοια με την εκτίμηση OLS.Οι εκτιμήσεις της GLS είναι μέγιστες πιθανές εκτιμήσεις όταν το ε ακολουθεί μια κανονική κατανομή πολλών μεταβλητών με γνωστό πίνακα συνδιακύμανσης.
Ζώνη παλινδρόμησης και άλλες μορφές εκτίμησης όπως η παλινδρόμηση laso, εσκεμμένα προωθούν μια προτίμηση στην εκτίμηση β με σκοπό να μειώσουν την εκτιμώμενη διασπορά. Οι τελικές εκτιμήσεις γενικά έχουν χαμηλότερο αριθμητικό σφάλμα από ότι οι εκτιμήσεις OLS,συγκεκριμένα όταν η πολυγραμμικότητα είναι παρούσα.Γενικά χρησιμοποιούνται όταν ο στόχος είναι να προβλέψουμε την τιμή της διακριτής μεταβλητής y για τιμές των προβλεπόμενων x που δεν έχουν παρατηρηθεί ακόμα.Αυτές οι μέθοδοι δεν χρησιμοποιούνται συνήθως όταν ο στόχος είναι το άμεσο συμπέρασμα,αφού είναι δύσκολο να υπολογίσουμε λόγω των προτιμήσεων. * Ελάχιστη απόλυτη απόκλιση (LAD)παλινδρόμησης είναι μια τεχνική ευσταθούς εκτίμησης που είναι λιγότερο ευαίσθητη στην παρουσία ψευδών από τη OLS(αλλά είναι λιγότερο αποτελεσματική από την OLS όταν δεν υπάρχουν ψεύδη).Είναι ισάξια με τη μέγιστη πιθανότητα εκτίμησης υπό ένα μοντέλο κατανομής Laplace για το ε.
Προσαρμοστική εκτίμηση.Αν υποθέσουμε ότι τα σφάλματα στους όρους είναι ανεξάρτητα από τους συναρτησιακούς παλινδρομητές ,η οπτική εκτίμηση σε 2 βήματα MLE,όπου το πρώτο βήμα χρησιμοποιείται σε μη παραμετρική εκτίμηση της κατανομής των εσφαλμένων όρων.

Άλλες τεχνικές εκτίμησης

Η Μπευζιανή γραμμική παλινδρόμηση εφαρμόζει το πλαίσιο της Μπευζιανής στατιστικής στη γραμμική παλινδρόμηση.(Δες επίσης Μπευζιανή παλινδρόμηση πολλών μεταβλητών). Συγκεκριμένα,οι συντελεστές β της συναρτησιακής παλινδρόμησης υποτίθεται πώς είναι κανονικές μεταβλητές με συγκεκριμένη προγενέστερη κατανομή.Η προγενέστερη κατανόμη μπορεί να προτιμά λύσεις για τους συντελεστές παλινδρόμησης,με τρόπο παρόμοιο(αλλά πιο γενικό) με τη ζώνη παλινδρόμησης ή την παλινδρόμηση laso .Επιπρόσθετα,η διαδικασία Μπευζιανής εκτίμησης δε παράγει μόνο ένα σημείο εκτίμησης για τις καλύτερες τιμές των συντελεστών παλινδρόμησης αλλά μια ολόκληρη εκ των υστέρων κατανομή,που ολοκληρωτικά περιγράφει τη σχέση αβεβαιότητας γύρω από την ποσότητα.Αυτό μπορεί να χρησιμοποιηθεί για να εκτιμήσουμε όσο το δυνατόν καλύτερα τους συντελεστές χρησιμοποιώντας τον μέσο,τη μέθοδο,τη διάμεσο,όποιο ποσοστημόριο(δες παλινδρόμηση ποσοστημορίου)ή οποιαδήποτε λειτουργία της εκ των υστέρων κατανομής. * Η Πενταδική παλινδρόμηση επικεντρώνεται σε ποσοστημόρια του y που δίνονται στο Χ και όχι ο μέσος όρος της y δεδομένης της Χ . Γραμμικά μοντέλα παλινδρόμησης ποσοστημόριου σε ένα συγκεκριμένο δεσμευμένο ποσοστημόριο, για παράδειγμα, η υπό όρους μέση, σαν γραμμική συνάρτηση β * Μικτά μοντέλα χρησιμοποιούνται ευρέως για την ανάλυση γραμμικής παλινδρόμησης και των σχέσεων που περιλαμβάνουν εξαρτώμενη από τα δεδομένα, όταν οι εξαρτήσεις έχουν γνωστή δομή. Κοινές εφαρμογές μικτών μοντέλων περιλαμβάνουν ανάλυση των δεδομένων που σχετίζονται με επαναλαμβανόμενες μετρήσεις, όπως διαχρονικά δεδομένα ή δεδομένα που έχουν ληφθεί από σύμπλεγμα δειγματοληψίας. Είναι γενικώς κατάλληλα ως παραμετρικά μοντέλα, χρησιμοποιώντας τη μέγιστη πιθανότητα ή Μπεϋζιανή εκτίμηση. Στην περίπτωση κατά την οποία τα σφάλματα διαμορφώνονται ως κανονικές τυχαίες μεταβλητές, υπάρχει στενή σχέση μεταξύ των μικτών μοντέλων και γενικευμένων ελαχίστων τετραγώνων. Εκτίμηση σταθερών επιδράσεων είναι μια εναλλακτική προσέγγιση για την ανάλυση αυτού του τύπου των δεδομένων.
Το Κύριο συστατικό παλινδρόμησης (PCR)χρησιμοποιείται όταν ο αριθμός των μεταβλητών πρόβλεψης είναι μεγάλος, ή όταν υπάρχουν ισχυρές συσχετίσεις μεταξύ των μεταβλητών πρόβλεψης. Αυτή η διαδικασία δύο σταδίων μειώνει πρώτα τις μεταβλητές πρόβλεψης χρησιμοποιώντας ανάλυση σε κύριες συνιστώσες στη συνέχεια χρησιμοποιεί τις μειωμένες μεταβλητές σε μια τακτοποίηση παλινδρόμησης OLS. Ενώ συχνά λειτουργεί καλά στην πράξη, δεν υπάρχει γενικός θεωρητικός λόγος ότι η πιο κατατοπιστική γραμμική συνάρτηση των μεταβλητών πρόβλεψης πρέπει να βρίσκεται μεταξύ των κυρίαρχων κύριων συστατικων της πολυμεταβλητής κατανομής των μεταβλητών πρόβλεψης. Η μερική παλινδρόμηση ελαχίστων τετραγώνων είναι η επέκταση της μεθόδου PCR που δεν πάσχει από την προαναφερθείσα ανεπάρκεια.
Η Παλινδρόμηση ελαχίστης γωνίας είναι μια διαδικασία εκτίμησης για γραμμικά μοντέλα παλινδρόμησης που αναπτύχθηκε για τον χειρισμό μεγάλων διαστάσεων συμμεταβλητού φορέα, ενδεχομένως με περισσότερες συμεταβλητές από παρατηρήσεις. *Η Εκτίμηση Theil-Sen είναι μια απλή ισχυρή τεχνική αξιολόγησης που επιλέγει την κλίση της ευθείας που ταιριάζει για να είναι η μέση τιμή των κλίσεων των γραμμών μέσω ζευγών των σημείων δειγματοληψίας. Έχει παρόμοιες ιδιότητες στατιστικής αποδοτικότητας απλής γραμμικής παλινδρόμησης, αλλά είναι πολύ λιγότερο ευαίσθητη σε ακραίες τιμές.
Άλλες ισχυρές τεχνικές εκτίμησης, συμπεριλαμβανομένης και της μέσης προσέγγισης, και L, Μ, S, και R-εκτιμήσης έχουν εισαχθεί.

Περαιτέρω συζήτηση

Στη στατιστική και την αριθμητική ανάλυση, το πρόβλημα των αριθμητικών μεθόδων για γραμμικές ελαχίστων τετραγώνων είναι σημαντικό επειδή τα γραμμικά μοντέλα παλινδρόμησης είναι ένας από τους πιο σημαντικούς τύπους μοντέλου, τόσο ως επίσημο στατιστικό μοντέλο s και για την εξερεύνηση των συνολικών δεδομένων. Η πλειοψηφία των στατιστικών πακέτων υπολογιστή έχουν την ίδια γραμμή γραμμικής παλινδρόμησης αλλά διαφέρουν αρχικά μεταξύ τους.^[1]

περιέχουν εγκαταστάσεις για την ανάλυση παλινδρόμησης που κάνουν χρήση της γραμμικής τουλάχιστον υπολογισμοί τετραγώνων. Ως εκ τούτου, η σημαντική προσπάθεια που έχει αφιερωθεί στο έργο της διασφάλισης ότι οι εν λόγω υπολογισμοί πραγματοποιούνται αποτελεσματικά και λαμβάνονται δεόντως υπόψη την αριθμητική ακρίβεια.

Μεμονωμένες στατιστικές αναλύσεις σπάνια αναλαμβάνονται μεμονωμένα, αλλά μάλλον αποτελούν μέρος μιας ακολουθίας ερευνητικών βημάτων. Μερικά από τα θέματα που εμπλέκονται στην εξέταση αριθμητικών μεθόδων για γραμμικά ελάχιστα τετράγωνα αναφέρονται σε αυτό το σημείο. Έτσι σημαντικά θέματα μπορεί να είναι

Υπολογισμοί όπου μια σειρά παρόμοιων, και συχνά ένθετων, μοντέλων θεωρούνται για το ίδιο σύνολο δεδομένων. Δηλαδή, όπου τα μοντέλα με την ίδια εξαρτημένη μεταβλητή, αλλά διαφορετικά σύνολα ανεξάρτητων μεταβλητών. Δεν πρέπει να θεωρηθούν, ουσιαστικά το ίδιο σύνολο δεδομένων.
Υπολογισμοί για τις αναλύσεις που εμφανίζονται σε μια ακολουθία, καθώς ο αριθμός των δεδομένων αυξάνεται.
Ειδικές προειδοποιήσεις για πολύ εκτεταμένα σύνολα δεδομένων.

Η διαρρύθμιση των γραμμικών μοντέλων ελαχίστων τετραγώνων συχνά, αλλά όχι πάντα, τίθεται στο πλαίσιο της στατιστικής ανάλυσης. Μπορεί, συνεπώς, να είναι σημαντικό ότι, για λόγους υπολογιστικής απόδοσης για τέτοια προβλήματα επεκταθεί σε όλες τις βοηθητικές ποσοτήτων που απαιτούνται για τέτοιες αναλύσεις, και δεν περιορίζονται στην επίσημη λύση των γραμμικών ελαχίστών τετραγώνων προβλημάτων.

Υπολογισμοί πινάκων, όπως τα άλλα, επηρεάζονται από σφάλματα στρογγυλοποίησης. Μια πρώιμη σύνοψη αυτών των επιπτώσεων, όσον αφορά την επιλογή των υπολογιστικών μεθόδων για την αναστροφή του πίνακα, δόθηκε από τον Wilkinson.^[2]

Με Γραμμική Άλγεβρα

Έπεται ότι μπορεί κανείς να βρει μια «καλύτερη» προσέγγιση της άλλης λειτουργίας με την ελαχιστοποίηση της περιοχής μεταξύ των δύο λειτουργιών, για μια συνεχή λειτουργία $f$ στο $[a,b]$ και λειτουργία $g\in W$ όπου $W$ είναι ένας υπoχώρος του $C[a,b]$ :

{\text{Area }}=\int _{a}^{b}\left\vert f(x)-g(x)\right\vert \,dx

,

όλα μέσω υποχώρου $W$ . Λόγω της δυσκολίας για την αξιολόγηση ολοκληρωμάτων που αφορούν την απόλυτη αξία,που μπορεί κανείς να καθορίσει

Έστω

f

να είναι συνεχής στο

[a,b]

, και έστω

W

είναι ένα πεπερασμένων διαστάσεων υπόχωρος του

C[a,b]

. Η ελαχίστων τετραγώνων προσέγγιση της λειτουργίας του

f

σε σχέση με την

W

δίνεται μέσω της ::

g=\left\langle f,{\vec {w}}_{1}\right\rangle {\vec {w}}_{1}+\left\langle f,{\vec {w}}_{2}\right\rangle {\vec {w}}_{2}+\dots +\left\langle f,{\vec {w}}_{n}\right\rangle {\vec {w}}_{n}

,

where

B=\{{\vec {w}}_{1},{\vec {w}}_{2},\dots ,{\vec {w}}_{n}\}

is an orthonormal basis for

W

.

Εφαρμογές γραμμικής παλινδρόμησης

Η γραμμική παλινδρόμηση χρησιμοποιείται ευρέως σε βιολογικές, συμπεριφορικές και κοινωνικές επιστήμες για να περιγράψει πιθανές σχέσεις μεταξύ των μεταβλητών. Κατατάσσεται ως ένα από τα πιο σημαντικά εργαλεία που χρησιμοποιούνται σε αυτούς τους κλάδους.

Γραμμή τάσης

Η γραμμή τάση αποτελεί μια τάση, η μακροπρόθεσμη κίνηση στις χρονοσειρές έχουν δεδομένα μετά τα άλλα συστατικά που έχουν λογιστικοποιηθεί. Είναι λέει αν ένα συγκεκριμένο σύνολο δεδομένων (δηλαδή το ΑΕΠ, οι τιμές του πετρελαίου ή οι τιμές των μετοχών) έχουν αυξηθεί ή να μειωθεί κατά την πάροδο του χρόνου. Θα μπορούσε απλά να γίνει γραμμή τάσης από το μάτι μέσα από μια σειρά σημείων δεδομένων, αλλά πιο σωστά η θέση και η κλίση τους υπολογίζεται χρησιμοποιώντας στατιστικές τεχνικές όπως η γραμμική παλινδρόμηση. Γραμμές τάσης είναι τυπικά ευθείες γραμμές, αν και ορισμένες παραλλαγές χρησιμοποιούν πλυώνυμα υψηλότερου βαθμού, ανάλογα με το βαθμό της επιθυμητής καμπυλότητας στη γραμμή.

Οι γραμμές τάσης χρησιμοποιούνται μερικές φορές σε επιχειρησιακές αναλύσεις για να δείξει τις αλλαγές στα δεδομένα με την πάροδο του χρόνου. Αυτό έχει το πλεονέκτημα ότι είναι απλή. Οι γραμμές τάσης χρησιμοποιούνται συχνά για να υποστηρίξει ότι μια συγκεκριμένη δράση ή εκδήλωση (όπως η κατάρτιση, ή μια διαφημιστική καμπάνια) προκάλεσε αλλαγές που παρατηρήθηκαν σε μια δεδομένη χρονική στιγμή. Αυτή είναι μια απλή τεχνική, και δεν απαιτεί μία ομάδα ελέγχου, πειραματικό σχεδιασμό, ή μία εκλεπτυσμένη τεχνική ανάλυση. Ωστόσο, πάσχει από έλλειψη επιστημονικής εγκυρότητας σε περιπτώσεις όπου άλλες πιθανές αλλαγές μπορούν να επηρεάσουν τα δεδομένα.

Επιδημιολογία

Πρόωρα αποδεικτικά στοιχεία που συσχετίζουν το κάπνισμα με τη θνησιμότητα και νοσηρότητα προήλθε από μελέτες παρατήρησης με την ανάλυση παλινδρόμησης. Προκειμένου να μειωθεί η πλαστή συσχέτιση s κατά την ανάλυση παρατηρησιακών δεδομένων, οι ερευνητές συνήθως περιλαμβάνουν αρκετές μεταβλητές στα μοντέλα παλινδρόμησης τους, εκτός από τη μεταβλητή του πρωταρχικού ενδιαφέροντος. Για παράδειγμα, ας υποθέσουμε ότι έχουμε ένα μοντέλο παλινδρόμησης στο οποίο το κάπνισμα είναι η ανεξάρτητη μεταβλητή που μας ενδιαφέρει, και η εξαρτημένη μεταβλητή είναι η διάρκεια ζωής που μετριέται σε χρόνια. Οι ερευνητές θα μπορούσαν να περιλαμβάνουν κοινωνικο-οικονομική κατάσταση ως μία επιπλέον ανεξάρτητη μεταβλητή, για να διασφαλιστεί ότι οποιαδήποτε παρατηρούμενη επίδραση του καπνίσματος στην διάρκεια ζωής δεν οφείλεται σε κάποια επίδραση της εκπαίδευσης ή εισοδήματος. Ωστόσο, δεν είναι ποτέ δυνατόν να περιλαμβάνουν όλες τις πιθανές συγχυτικές μεταβλητές σε μια εμπειρική ανάλυση. Για παράδειγμα, ένα υποθετικό γονίδιο μπορεί να αυξήσει τη θνησιμότητα και επίσης να προκαλέσει τους ανθρώπους να καπνίζουν περισσότερο. Για το λόγο αυτό, η τυχαιοποιημένη μελέτη s είναι συχνά σε θέση να παράγει πιο πειστικές αποδείξεις της αιτιώδεις σχέσεις από ό,τι μπορεί να επιτευχθεί με την ανάληση παλινδρόμησης των παρατηρησιακών δεδομένων. Όταν ελεγχόμενα πειράματα, δεν είναι εφικτά, οι παραλλαγές της ανάλυσης παλινδρόμησης, όπως οι βοηθητικές μεταβλητές παλινδρόμησης μπορεί να χρησιμοποιηθούν για να προσπαθήσει να εκτιμήσει τις αιτιώδεις σχέσεις από παρατηρησιακά δεδομένα.

Οικονομία

Το υπόδειγμα αποτίμησης περιουσιακών στοιχείων χρησιμοποιεί γραμμική παλινδρόμηση, καθώς και την έννοια της βήτα για την ανάλυση και ποσοτικοποίηση του συστηματικού κινδύνου μιας επένδυσης. Αυτό προέρχεται απευθείας από το συντελεστή βήτα του μοντέλου γραμμικής παλινδρόμησης που συσχετίζει την απόδοση της επένδυσης για την απόδοση όλων των περιουσιακών στοιχείων υψηλού κινδύνου.

Οικονομικά

Γραμμική παλινδρόμηση είναι το κυρίαρχο εμπειρικό εργαλείο στα οικονομικά. Για παράδειγμα, χρησιμοποιείται για να προβλέψεικαταναλωτικές δαπάνες, πάγια επενδύσεων δαπανών, επενδύσεις απογραφών, τις αγορές των εξαγωγών μιας χώρας, τις δαπάνες για των εισαγωγών , τη ζήτηση σε ρευστά στοιχεία ενεργητικού, ζήτηση εργασίας και προσφορά εργασίας.

Περιβαλλοντική επιστήμη

Η γραμμική παλινδρόμηση βρίσκει εφαρμογή σε ένα ευρύ φάσμα εφαρμογών της περιβαλλοντικής επιστήμης. Στον Καναδά, οι περιβαλλοντικές επιπτώσεις σε πρόγραμμα παρακολούθησης χρησιμοποιεί στατιστικές αναλύσεις στα ψάρια και τις βενθική ζώνη | βενθικές έρευνες για τη μέτρηση των επιπτώσεων της μονάδας χαρτοπολτού ή μέταλλο ορυχείο λυμάτων σε υδάτινο οικοσύστημα.

Σημειώσεις

↑ ^1,0 ^1,1 Μπερκ, Richard A. Ανάλυση Παλινδρόμησης: εποικοδομητική κριτική. Sage. doi:10.1177 / 0734016807304871 Check |doi= value (βοήθεια).
↑ Wilkinson, J.H. (1963) "Chapter 3: Matrix Computations", Rounding Errors in Algebraic Processes, London: Her Majesty's Stationery Office (National Physical Laboratory, Notes in Applied Science, No.32)

Αναφορές

Cohen, J., Cohen P., West, S.G., & Aiken, L.S. (2003). Applied multiple regression/correlation analysis for the behavioral sciences. (2nd ed.) Hillsdale, NJ: Lawrence Erlbaum Associates
Charles Darwin. The Variation of Animals and Plants under Domestication. (1868) (Chapter XIII describes what was known about reversion in Galton's time. Darwin uses the term "reversion".)
Draper, N.R.· Smith, H. (1998). Applied Regression Analysis (3rd έκδοση). John Wiley. ISBN 0-471-17082-8.
Francis Galton. "Regression Towards Mediocrity in Hereditary Stature," Journal of the Anthropological Institute, 15:246-263 (1886). (Facsimile at: [1])
Robert S. Pindyck and Daniel L. Rubinfeld (1998, 4h ed.). Econometric Models and Economic Forecasts, ch. 1 (Intro, incl. appendices on Σ operators & derivation of parameter est.) & Appendix 4.3 (mult. regression in matrix form).

Περισσότερο διάβασμα

Barlow, Jesse L. (1993). «Chapter 9: Numerical aspects of Solving Linear Least Squares Problems». Στο: Rao, C.R. Computational Statistics. Handbook of Statistics. 9. North-Holland. ISBN 0-444-88096-8
Björck, Åke (1996). Numerical methods for least squares problems. Philadelphia: SIAM. ISBN 0-89871-360-9.
Goodall, Colin R. (1993). «Chapter 13: Computation using the QR decomposition». Στο: Rao, C.R. Computational Statistics. Handbook of Statistics. 9. North-Holland. ISBN 0-444-88096-8
Pedhazur, Elazar J (1982). Multiple regression in behavioral research: Explanation and prediction (2nd έκδοση). New York: Holt, Rinehart and Winston. ISBN 0-03-041760-0. https://archive.org/details/rj0000unse
National Physical Laboratory (1961). «Chapter 1: Linear Equations and Matrices: Direct Methods». Modern Computing Methods. Notes on Applied Science. 16 (2nd έκδοση). Her Majesty's Stationery Office
National Physical Laboratory (1961). «Chapter 2: Linear Equations and Matrices: Direct Methods on Automatic Computers». Modern Computing Methods. Notes on Applied Science. 16 (2nd έκδοση). Her Majesty's Stationery Office

Εναλλακτικοί ιστότοποι

[Ανάλυση_Παλινδρόμησης:_εποικοδομητι-1] 1,0 ^1,1 Μπερκ, Richard A. Ανάλυση Παλινδρόμησης: εποικοδομητική κριτική. Sage. doi:10.1177 / 0734016807304871 Check |doi= value (βοήθεια).

[2] Wilkinson, J.H. (1963) "Chapter 3: Matrix Computations", Rounding Errors in Algebraic Processes, London: Her Majesty's Stationery Office (National Physical Laboratory, Notes in Applied Science, No.32)

[1]

[2]