Μελέτη βασιζόμενη στην παρατήρηση

Σε τομείς όπως η επιδημιολογία, οι κοινωνικές επιστήμες, η ψυχολογία και η στατιστική, μια μελέτη βασιζόμενη στην παρατήρηση εξάγει συμπεράσματα από ένα δείγμα σε έναν πληθυσμό όπου η ανεξάρτητη μεταβλητή[1] δεν είναι υπό τον έλεγχο του ερευνητή λόγω δεοντολογικών ανησυχιών ή λογιστικών περιορισμών. Μια συνηθισμένη μελέτη παρατήρησης αφορά την πιθανή επίδραση μιας θεραπείας στα υποκείμενα, όπου η κατανομή των υποκειμένων σε μια ομάδα θεραπείας έναντι μιας ομάδας ελέγχου είναι εκτός του ελέγχου του ερευνητή.[2][3] Αυτό έρχεται σε αντίθεση με τα πειράματα, όπως οι τυχαιοποιημένες ελεγχόμενες δοκιμές, όπου κάθε υποκείμενο κατατάσσεται τυχαία σε μια ομάδα θεραπείας ή σε μια ομάδα ελέγχου. Οι μελέτες παρατήρησης, επειδή δεν διαθέτουν μηχανισμό ανάθεσης, παρουσιάζουν φυσικά δυσκολίες για την ανάλυση συμπερασμάτων.
Κίνητρα
[Επεξεργασία | επεξεργασία κώδικα]Η ανεξάρτητη μεταβλητή[1] μπορεί να είναι εκτός του ελέγχου του ερευνητή για διάφορους λόγους:
- Ένα τυχαίο πείραμα θα παραβίαζε τους κανόνες δεοντολογίας. Ας υποθέσουμε ότι κάποιος θέλει να διερευνήσει την υπόθεση άμβλωση - καρκίνος του μαστού, η οποία υποθέτει αιτιώδη σχέση μεταξύ των επαγόμενων αμβλώσεων και της συχνότητας εμφάνισης καρκίνου του μαστού. Σε ένα υποθετικό ελεγχόμενο πείραμα, θα ξεκινούσε κανείς με μια μεγάλη δεξαμενή υποκειμένων από έγκυες γυναίκες και θα τις χώριζε τυχαία σε μια ομάδα θεραπείας (που λαμβάνουν τεχνητές αμβλώσεις) και σε μια ομάδα ελέγχου (που δεν λαμβάνουν αμβλώσεις), και στη συνέχεια θα διενεργούσε τακτικές εξετάσεις για τον καρκίνο σε γυναίκες και από τις δύο ομάδες. Είναι περιττό να πούμε ότι ένα τέτοιο πείραμα θα ήταν αντίθετο με τις κοινές ηθικές αρχές. (Θα υπέφερε επίσης από διάφορες συγχύσεις και πηγές μεροληψίας, π.χ. θα ήταν αδύνατο να διεξαχθεί ως τυφλό πείραμα). Οι δημοσιευμένες μελέτες που διερευνούν την υπόθεση άμβλωση-καρκίνος του μαστού ξεκινούν γενικά με μια ομάδα γυναικών που έχουν ήδη υποβληθεί σε άμβλωση. Η συμμετοχή σε αυτή την «θεραπευόμενη» ομάδα δεν ελέγχεται από τον ερευνητή: η ομάδα σχηματίζεται αφού έχει χορηγηθεί η «θεραπεία»[4]
- Ο ερευνητής μπορεί απλώς να μην έχει την απαιτούμενη επιρροή. Ας υποθέσουμε ότι ένας επιστήμονας θέλει να μελετήσει τις επιπτώσεις στη δημόσια υγεία από την καθολική απαγόρευση του καπνίσματος σε δημόσιους εσωτερικούς χώρους. Σε ένα ελεγχόμενο πείραμα, ο ερευνητής θα επέλεγε τυχαία ένα σύνολο κοινοτήτων που θα ανήκαν στην ομάδα θεραπείας. Ωστόσο, συνήθως εναπόκειται σε κάθε κοινότητα ή στο νομοθετικό της σώμα να θεσπίσει απαγόρευση του καπνίσματος. Είναι αναμενόμενο ότι ο ερευνητής δεν θα είχε την πολιτική δύναμη να πείσει ακριβώς τις κοινότητες της τυχαία επιλεγμένης ομάδας θεραπείας να θεσπίσουν απαγόρευση του καπνίσματος. Σε μια μελέτη παρατήρησης, ο ερευνητής θα ξεκινούσε κατά κανόνα με μια ομάδα θεραπείας που αποτελείται από τις κοινότητες στις οποίες ισχύει ήδη απαγόρευση του καπνίσματος.
- Ένα τυχαίο πείραμα μπορεί να είναι ανέφικτο. Ας υποθέσουμε ότι ένας ερευνητής θέλει να μελετήσει την πιθανολογούμενη σχέση μεταξύ ενός συγκεκριμένου φαρμάκου και μιας πολύ σπάνιας ομάδας συμπτωμάτων που εμφανίζονται ως παρενέργεια. Αφήνοντας στην άκρη τυχόν ηθικούς προβληματισμούς, ένα τυχαιοποιημένο πείραμα θα ήταν ανέφικτο λόγω της σπανιότητας του αποτελέσματος. Μπορεί να μην υπάρχει μια ομάδα υποκειμένων αρκετά μεγάλη ώστε τα συμπτώματα να παρατηρηθούν σε τουλάχιστον ένα θεραπευόμενο. Μια μελέτη παρατήρησης θα ξεκινούσε συνήθως με μια ομάδα συμπτωματικών υποκειμένων και θα εργαζόταν προς τα πίσω για να βρει εκείνους που έλαβαν το φάρμακο και αργότερα εμφάνισαν τα συμπτώματα. Έτσι, ένα υποσύνολο της θεραπευόμενης ομάδας καθοριζόταν με βάση την παρουσία συμπτωμάτων, αντί για τυχαία ανάθεση.
- Πολλές τυχαίες ελεγχόμενες δοκιμές δεν είναι ευρέως αντιπροσωπευτικές των συνηθισμένων ασθενών, γεγονός που μπορεί να περιορίσει την εξωτερική εγκυρότητά τους. Οι ασθενείς που μπορούν να συμπεριληφθούν σε μια τυχαία ελεγχόμενη δοκιμή είναι γενικά νεότεροι, πιθανόν να είναι άνδρες, πιο υγιείς και πιο επιρρεπείς σε θεραπεία σύμφωνα με τις συστάσεις των κατευθυντήριων οδηγιών.[5] Εάν και όταν η παρέμβαση προστεθεί στη συνέχεια στη συνήθη περίθαλψη, ένα μεγάλο ποσοστό των ασθενών που θα τη λάβουν μπορεί να είναι ηλικιωμένοι και να αντιμετωπίζουν πολλές συναφείς ασθένειες και φαρμακευτικές θεραπείες, παρόλο που μπορεί να μην είναι υγιείς και να μην έχουν ανάγκη θεραπείας.
Τύποι
[Επεξεργασία | επεξεργασία κώδικα]- Μελέτη ελέγχου περίπτωσης: μελέτη που αναπτύχθηκε αρχικά στην επιδημιολογία, στην οποία προσδιορίζονται δύο υπάρχουσες ομάδες που διαφέρουν ως προς την έκβαση και συγκρίνονται βάσει ενός υποτιθέμενου αιτιώδους χαρακτηριστικού.
- Μελέτη διατομής: περιλαμβάνει τη συλλογή δεδομένων από έναν πληθυσμό ή ένα αντιπροσωπευτικό υποσύνολο σε μια συγκεκριμένη χρονική στιγμή.
- Μακροχρόνια μελέτη: ερευνητική μελέτη συσχέτισης που περιλαμβάνει επαναλαμβανόμενες παρατηρήσεις των ίδιων μεταβλητών για μεγάλες χρονικές περιόδους. Η μελέτη κοόρτης και η μελέτη πάνελ είναι ιδιαίτερες μορφές διαχρονικών μελετών.
Βαθμός χρησιμότητας και αξιοπιστίας
[Επεξεργασία | επεξεργασία κώδικα]«Αν και οι μελέτες παρατήρησης δεν μπορούν να χρησιμοποιηθούν για να γίνουν οριστικές δηλώσεις σχετικά με την «ασφάλεια, την αποτελεσματικότητα ή την αποδοτικότητα» μιας πρακτικής, μπορούν[6]:
- να παρέχουν πληροφορίες σχετικά με τη χρήση και την πρακτική στον «πραγματικό κόσμο»,
- να ανιχνεύουν σήματα σχετικά με τα οφέλη και τους κινδύνους της χρήσης της πρακτικής στον γενικό πληθυσμό,
- βοηθούν στη διατύπωση υποθέσεων που θα ελεγχθούν σε επόμενα πειράματα,
- παρέχουν μέρος των δεδομένων σε επίπεδο κοινότητας που απαιτούνται για το σχεδιασμό πιο κατατοπιστικών πραγματιστικών κλινικών δοκιμών- και
- ενημερώνουν την κλινική πρακτική."[6]
Μεροληψία και μέθοδοι αντιστάθμισης
[Επεξεργασία | επεξεργασία κώδικα]Σε όλες αυτές τις περιπτώσεις, εάν δεν μπορεί να διεξαχθεί ένα τυχαίο πείραμα, η εναλλακτική γραμμή της έρευνας πάσχει από το πρόβλημα ότι η απόφαση σχετικά με το ποια άτομα θα λάβουν τη θεραπεία δεν είναι εντελώς τυχαία και, επομένως, αποτελεί πιθανή πηγή μεροληψίας. Μια σημαντική πρόκληση κατά τη διεξαγωγή μελετών παρατήρησης είναι η εξαγωγή συμπερασμάτων που είναι αποδεκτά απαλλαγμένα από επιρροές από εμφανείς μεροληψίες, καθώς και η αξιολόγηση της επιρροής πιθανών κρυφών μεροληψιών. Ακολουθεί ένας μη εξαντλητικός κατάλογος προβλημάτων που είναι ιδιαίτερα συνηθισμένα στις μελέτες παρατήρησης.
Μεροληψία τεχνικών αντιστοίχισης
[Επεξεργασία | επεξεργασία κώδικα]Αντί του πειραματικού ελέγχου, οι πολυμεταβλητές στατιστικές τεχνικές επιτρέπουν την προσέγγιση του πειραματικού ελέγχου με στατιστικό έλεγχο μέσω μεθόδων αντιστοίχισης. Οι μέθοδοι αντιστοίχισης λαμβάνουν υπόψη την επιρροή των παρατηρούμενων παραγόντων που είναι πιθανό να επηρεάζουν μια σχέση αιτίου-αποτελέσματος. Στην υγειονομική περίθαλψη και τις κοινωνικές επιστήμες, οι ερευνητές μπορούν να χρησιμοποιήσουν την αντιστοίχιση για να συγκρίνουν μονάδες που έλαβαν θεραπεία και έλεγχο με μη τυχαίο τρόπο. Μια συνήθης προσέγγιση είναι η χρήση αντιστοίχισης με βάση το σκορ προδιάθεσης για τη μείωση της σύγχυσης[7], αν και η μέθοδος αυτή επικρίθηκε πρόσφατα για την επιδείνωση των ίδιων των προβλημάτων που επεδίωκε να επιλύσει.[8]
Μεροληψία πολλαπλών συγκρίσεων
[Επεξεργασία | επεξεργασία κώδικα]Η μεροληψία πολλαπλών συγκρίσεων μπορεί να εμφανιστεί όταν πολλές υποθέσεις ελέγχονται ταυτόχρονα. Καθώς αυξάνεται ο αριθμός των καταγεγραμμένων παραγόντων, αυξάνεται η πιθανότητα ότι τουλάχιστον ένας από τους καταγεγραμμένους παράγοντες θα συσχετιστεί σε μεγάλο βαθμό με την έξοδο των δεδομένων απλά και μόνο από τύχη.[9]
Μεροληψία που συνδέεται με την παράλειψη μιας μεταβλητής
[Επεξεργασία | επεξεργασία κώδικα]Ο παρατηρητής ενός μη ελεγχόμενου πειράματος (ή διαδικασίας) καταγράφει τους πιθανούς παράγοντες και τα παραγόμενα δεδομένα: στόχος είναι να προσδιοριστούν οι επιδράσεις των παραγόντων. Μερικές φορές οι παράγοντες που καταγράφονται δεν ευθύνονται άμεσα για τις διαφορές στα αποτελέσματα. Μπορεί να υπάρχουν πιο σημαντικοί παράγοντες που δεν έχουν καταγραφεί, αλλά οι οποίοι στην πραγματικότητα είναι αιτιώδεις. Επιπλέον, οι καταγεγραμμένοι και οι μη καταγεγραμμένοι παράγοντες μπορεί να συσχετίζονται, γεγονός που μπορεί να οδηγήσει σε εσφαλμένα συμπεράσματα.[10]
Μεροληψία επιλογής
[Επεξεργασία | επεξεργασία κώδικα]Μια άλλη δυσκολία με τις μελέτες παρατήρησης είναι ότι οι ίδιοι οι ερευνητές μπορεί να είναι προκατειλημμένοι ως προς τις παρατηρησιακές τους ικανότητες. Αυτό θα επέτρεπε στους ερευνητές να αναζητούν (είτε συνειδητά είτε ασυνείδητα) τις πληροφορίες που αναζητούν κατά τη διεξαγωγή της έρευνάς τους. Επί παραδείγματι, οι ερευνητές μπορεί να υπερβάλλουν στην επίδραση μιας μεταβλητής ή να υποβαθμίζουν την επίδραση μιας άλλης: οι ερευνητές μπορεί ακόμη και να επιλέγουν σε θέματα που ταιριάζουν στα συμπεράσματά τους. Αυτή η μεροληψία επιλογής μπορεί να συμβεί σε οποιοδήποτε στάδιο της ερευνητικής διαδικασίας. Αυτό εισάγει μεροληψία στα δεδομένα, όπου ορισμένες μεταβλητές μετρώνται συστηματικά εσφαλμένα.[11]
Ποιότητα
[Επεξεργασία | επεξεργασία κώδικα]Μια αναθεώρηση Κοχρέιν[12] του 2014 (επικαιροποιημένη το 2024) κατέληξε στο συμπέρασμα ότι οι μελέτες παρατήρησης παράγουν αποτελέσματα παρόμοια με εκείνα που διεξάγονται ως τυχαιοποιημένες ελεγχόμενες μελέτες.[13] Η ανασκόπηση ανέφερε ελάχιστα στοιχεία για σημαντικές διαφορές στα αποτελέσματα μεταξύ των μελετών παρατήρησης και των τυχαιοποιημένων ελεγχόμενων μελετών, ανεξάρτητα από το σχεδιασμό.[13] Οι διαφορές πρέπει να αξιολογούνται εξετάζοντας τον πληθυσμό, το συγκριτικό δείκτη, την ετερογένεια και τα αποτελέσματα[13].
Εξωτερικοί σύνδεσμοι
[Επεξεργασία | επεξεργασία κώδικα]- English - Greek Dictionary of Pure and Applied Mathematics Εθνικό Μετσόβιο Πολυτεχνείο
- Αγγλοελληνικό Λεξικό Μαθηματικής Ορολογίας - Πανεπιστήμιο Κύπρου
- Ευκλείδεια Γεωμετρία - Πανελλήνιο Σχολικό Δίκτυο
- Θεωρία ομάδων και Λι αλγεβρών -Εθνικό Αρχείο Διδακτορικών Διατριβών
- Θεωρία Αριθμών και Εφαρμογές
- Υπολογιστική Θεωρία Αριθμών
- Καμπυλότητες και γεωμετρία του Riemann σε διαφορίσιμες πολλαπλότητες Εθνικό Αρχείο Διδακτορικών Διατριβών
Δείτε επίσης
[Επεξεργασία | επεξεργασία κώδικα]- Θεωρία αριθμών
- Αλγεβρική θεωρία αριθμών
- Επιστήμες συμπεριφοράς
- Αλγεβρική θεωρία αριθμών
- Διαφορική γεωμετρία
- Γεωμετρική τοπολογία
- Φυσικές επιστήμες
- Καρτεσιανό σύστημα συντεταγμένων
- Ευκλείδειος χώρος
- Ντάνιελ Γκόρενσταϊν
- Στατιστική μέθοδος
- Εφαρμοσμένα μαθηματικά
- Τοπολογικός χώρος
- Διακριτός μετασχηματισμός Φουριέ
- Θεμελιώδες θεώρημα αριθμητικής
- Αλγεβρική γεωμετρία
- Μιγαδικός αριθμός
- Δισδιάστατος χώρος
Βιβλιογραφία
[Επεξεργασία | επεξεργασία κώδικα]- Rosenbaum, Paul R. (13 Ιουλίου 2020). Design of Observational Studies. Springer Nature. ISBN 978-3-030-46405-9.
- Rosenbaum, Paul R. (29 Ιουνίου 2013). Observational Studies. Springer Science & Business Media. ISBN 978-1-4757-2443-1.
- Merrill, Ray M.· Timmreck, Thomas C. (2006). Introduction to Epidemiology. Jones & Bartlett Learning. ISBN 978-0-7637-3582-1.
- Hackshaw, Allan (19 Δεκεμβρίου 2014). A Concise Guide to Observational Studies in Healthcare. John Wiley & Sons. ISBN 978-1-118-52703-0.
- Gallin, John I.· Ognibene, Frederick P. (31 Μαΐου 2012). Principles and Practice of Clinical Research. Academic Press. ISBN 978-0-12-382167-6.
- Schulte, Marie-Caroline (2 Ιουλίου 2020). Evidence-Based Medicine - A Paradigm Ready To Be Challenged?: How Scientific Evidence Shapes Our Understanding And Use Of Medicine. Springer Nature. ISBN 978-3-476-05703-7.
- Medicine, Institute of· Practice, Board on Population Health and Public Health (30 Ιουλίου 2012). Ethical and Scientific Issues in Studying the Safety of Approved Drugs. National Academies Press. ISBN 978-0-309-21816-0.
- Salazar, Laura F.· Crosby, Richard (18 Φεβρουαρίου 2015). Research Methods in Health Promotion. John Wiley & Sons. ISBN 978-1-118-44842-7.
Παραπομπές
[Επεξεργασία | επεξεργασία κώδικα]- ↑ 1,0 1,1 Lani, James (3 Φεβρουαρίου 2010). «Independent and Dependent Variables». Statistics Solutions (στα Αγγλικά). Ανακτήθηκε στις 15 Φεβρουαρίου 2025.
- ↑ «Observational study». Αρχειοθετήθηκε από το πρωτότυπο στις 27 Απριλίου 2016. Ανακτήθηκε στις 25 Ιουνίου 2008.
- ↑ Porta M, επιμ. (2008). A Dictionary of Epidemiology (5th έκδοση). New York: Oxford University Press. ISBN 9780195314496.
- ↑ Griffith, Brad; Friesen, Lisa (2021-08-18) (στα αγγλικά). 2.1 Observational Studies. https://open.ocolearnok.org/reach-higher-data-analysis/chapter/observational-studies/.
- ↑ «A literature review on the representativeness of randomized controlled trial samples and implications for the external validity of trial results». Trials 16 (1): 495. November 2015. doi: . PMID 26530985.
- ↑ 6,0 6,1 "Although observational studies cannot provide definitive evidence of safety, efficacy, or effectiveness, they can: 1) provide information on "real world" use and practice; 2) detect signals about the benefits and risks of complementary therapies use in the general population; 3) help formulate hypotheses to be tested in subsequent experiments; 4) provide part of the community-level data needed to design more informative pragmatic clinical trials; and 5) inform clinical practice." "Observational Studies and Secondary Data Analyses To Assess Outcomes in Complementary and Integrative Health Care." Αρχειοθετήθηκε 2019-09-29 στο Wayback Machine. Richard Nahin, Ph.D., M.P.H., Senior Advisor for Scientific Coordination and Outreach, National Center for Complementary and Integrative Health, June 25, 2012
- ↑ Rosenbaum, Paul R. 2009. Design of Observational Studies. New York: Springer.
- ↑ King, Gary; Nielsen, Richard (2019-05-07). «Why Propensity Scores Should Not Be Used for Matching». Political Analysis 27 (4): 435–454. doi: . ISSN 1047-1987. | link to the full article (from the author's homepage
- ↑ Benjamini, Yoav (2010). «Simultaneous and selective inference: Current successes and future challenges» (στα αγγλικά). Biometrical Journal 52 (6): 708–721. doi: . PMID 21154895. https://onlinelibrary.wiley.com/doi/10.1002/bimj.200900299.
- ↑ «Introductory Econometrics Chapter 18: Omitted Variable Bias». www3.wabash.edu. Ανακτήθηκε στις 16 Ιουλίου 2022.
- ↑ Hammer, Gaël P; du Prel, Jean-Baptist; Blettner, Maria (2009-10-01). «Avoiding Bias in Observational Studies». Deutsches Ärzteblatt International 106 (41): 664–668. doi: . ISSN 1866-0452. PMID 19946431.
- ↑ «Welcome». www.cochrane.org (στα Αγγλικά). Ανακτήθηκε στις 15 Φεβρουαρίου 2025.
- ↑ 13,0 13,1 13,2 Toews, Ingrid; Anglemyer, Andrew; Nyirenda, John Lz; Alsaid, Dima; Balduzzi, Sara; Grummich, Kathrin; Schwingshackl, Lukas; Bero, Lisa (2024-01-04). «Healthcare outcomes assessed with observational study designs compared with those assessed in randomized trials: a meta-epidemiological study». The Cochrane Database of Systematic Reviews 1 (1): MR000034. doi: . ISSN 1469-493X. PMID 38174786.
- Rosenbaum, Paul R. (2002). Observational Studies (2nd έκδοση). New York: Springer-Verlag. ISBN 0387989676.
- "NIST/SEMATECH Handbook on Engineering Statistics" at NIST
- Johnson, Richard A.· Wichern, Dean W. (2007). Applied Multivariate Statistical Analysis (Sixth έκδοση). Prentice Hall. ISBN 978-0-13-187715-3.
- KV Mardia· JT Kent· JM Bibby (1979). Multivariate Analysis. Academic Press. ISBN 0-12-471252-5.
- A. Sen, M. Srivastava, Regression Analysis — Theory, Methods, and Applications, Springer-Verlag, Berlin, 2011 (4th printing).
- Cook, Swayne (2007). Interactive Graphics for Data Analysis.
- Malakooti, B. (2013). Operations and Production Systems with Multiple Objectives. John Wiley & Sons.
- T. W. Anderson, An Introduction to Multivariate Statistical Analysis, Wiley, New York, 1958.
- KV Mardia· JT Kent· JM Bibby (1979). Multivariate Analysis. Academic Press. ISBN 978-0124712522. (M.A. level "likelihood" approach)
- Grothendieck, Alexandre; Raynaud, Michèle (2003), Séminaire de Géométrie Algébrique du Bois Marie - 1960-61 - Revêtements étales et groupe fondamental - (SGA 1) (Documents Mathématiques 3), Paris: Société Mathématique de France, σελ. xviii+327, see Exp. V, IX, X, ISBN 978-2-85629-141-2
- Hall, Brian C. (2015), Lie Groups, Lie Algebras, and Representations: An Elementary Introduction, Graduate Texts in Mathematics, 222 (2nd έκδοση), Springer, ISBN 978-3319134666
- —— 2007. Intricate Ethics: Rights, Responsibilities, and Permissible Harm. Oxford: Oxford University Press. ISBN 978-0-19-518969-8, ISBNT978-0-19-534590-2.
- Kant, Immanuel (1964). Groundwork of the Metaphysic of Morals
. Harper and Row Publishers, Inc. ISBN 978-0-06-131159-8.
- «Législation, éthique et déontologie», Bruxelles: Editions de Boeck Université, 2011, Karine BREHAUX, ISBN 978-2-84371-558-7
Πηγές
[Επεξεργασία | επεξεργασία κώδικα]- en:Charles Sanders Peirce and Joseph Jastrow (1885). «On Small Differences in Sensation». Memoirs of the National Academy of Sciences 3: 73–83. http://psychclassics.yorku.ca/Peirce/small-diffs.htm. http://psychclassics.yorku.ca/Peirce/small-diffs.htm
- Hacking, Ian (September 1988). «Telepathy: Origins of Randomization in Experimental Design». Isis 79 (3): 427–451. doi: . .
- Singer, I. M.· Thorpe, J. A. (28 Μαΐου 2015). Lecture Notes on Elementary Topology and Geometry. Springer. ISBN 978-1-4615-7347-0.
- Apostol, Tom M. (29 Ιουνίου 2013). Introduction to Analytic Number Theory. Springer Science & Business Media. ISBN 978-1-4757-5579-4.
- Trudy Dehue (December 1997). «Deception, Efficiency, and Random Groups: Psychology and the Gradual Origination of the Random Group Design». Isis 88 (4): 653–673. doi: . PMID 9519574. https://www.rug.nl/research/portal/files/71855616/237831.pdf.
- Apostol, Thomas M. (1976), Introduction to Analytic Number Theory, New York: Springer, ISBN 0-387-90163-9, https://archive.org/details/introductiontoan00apos_0