Deep Web

Από τη Βικιπαίδεια, την ελεύθερη εγκυκλοπαίδεια
Μετάβαση σε: πλοήγηση, αναζήτηση

To Deep Web (επίσης γνωστό και ως Deepnet, DarkNet, Undernet, το αόρατο Web ή το κρυμμένο Web) αναφέρεται στο περιεχόμενο του World Wide Web που δεν ανήκει στο Επιφανειακό Web (Surface Web), το οποίο δεικτοδοτείται από μία συνηθισμένη μηχανή αναζήτησης.

Ο Mike Bergman, ιδρυτής του BrightPlanet,[1] που επινόησε τη φράση,[2] είχε πει πως το να ψάχνει κανείς στο Internet σήμερα είναι σαν να σέρνει ένα δίχτυ στην επιφάνεια του ωκεανού: πολλά μπορεί να πιαστούν στο δίχτυ, αλλά υπάρχει ένας πλούτος πληροφοριών που βρίσκονται βαθιά και επομένως δεν μπορούν να πιαστούν. Οι περισσότερες πληροφορίες του Web είναι θαμμένες μέσα σε ιστότοπους με δυναμικά παραγόμενες ιστοσελίδες, και οι συνηθισμένες μηχανές αναζήτησης δεν μπορούν να τις εντοπίσουν. Οι παραδοσιακές μηχανές αναζήτησης δεν μπορούν να ανακτήσουν το περιεχόμενο του deep Web. Αυτές οι σελίδες δεν υπάρχουν μέχρι να δημιουργηθούν δυναμικά ως το αποτέλεσμα μιας συγκεκριμένης αναζήτησης. Το deep Web είναι αρκετές τάξεις μεγέθους μεγαλύτερο από το επιφανειακό Web.[3]

Μέγεθος[Επεξεργασία | επεξεργασία κώδικα]

Σύμφωνα με εκτιμήσεις που έγιναν σε μία μελέτη στο Πανεπιστήμιο Berkeley της Καλιφόρνια (University of California, Berkeley) το 2001[3] , το deep Web αποτελείται περίπου από 91.000 terabytes. Αντίθετα το επιφανειακό Web (που είναι εύκολα προσπελάσιμο από τις μηχανές αναζήτησης) είναι περίπου 167 terabytes. Η Βιβλιοθήκη του Αμερικάνικου Κονγκρέσου, υπολογίστηκε πως το 1997 είχε 3.000 terabytes. Το 2011, το YouTube υπολογίζεται ότι είχε αποθηκευμένα περίπου 200 εκατομμύρια βίντεο, συνολικού μεγέθους 5 petabytes ή 5000 terabytes. Ο υπολογισμός του μεγέθους του web διαφέρει από πηγή σε πηγή και έτσι υπάρχει ένα μεγάλο περιθώριο λάθους και κανένας αριθμός δε μπορεί να θεωρηθεί ως ακριβής. [4] Ωστόσο σχετικά με τον αριθμό των πηγών του deep Web υπάρχουν πιο ακριβείς εκτιμήσεις: Το 2004 ο He ανακάλυψε 300.000 deep web sites σε ολόκληρο το Web ,[5] και σύμφωνα με τον Shestakov, περίπου 14.000 deep web sites υπήρχαν στο Ρώσικο τμήμα του Web το 2006.[6]

Πληροφορίες του Deep Web[Επεξεργασία | επεξεργασία κώδικα]

Οι πληροφορίες του Deep Web ανήκουν σε μία ή περισσότερες από τις παρακάτω κατηγορίες:

  • Δυναμικά παραγόμενο περιεχόμενο: δυναμικές ιστοσελίδες οι οποίες δημιουργούνται ως αποτέλεσμα της εκτέλεσης κάποιας επερώτησης (query) ή προσπελαύνονται μόνο μέσω κάποιας φόρμας.
  • Μη συνδεδεμένο περιεχόμενο: ιστοσελίδες οι οποίες δεν περιέχουν συνδέσμους από άλλες ιστοσελίδες, εμποδίζοντας έτσι τα προγράμματα που κάνουν Web crawling να επισκεφθούν το περιεχόμενό τους.
  • Ιδιωτικό Web: ιστότοποι που απαιτούν εγγραφή (registration) και κωδικό πρόσβασης.
  • Περιεχόμενο περιορισμένης πρόσβασης: ιστότοποι που περιορίζουν την πρόσβαση στις σελίδες τους με τεχνικό τρόπο (π.χ. χρησιμοποιώντας το Robots Exclusion Standard, CAPTCHAs, ή το no-cache Pragma στις επικεφαλίδες του πρωτοκόλλου HTTP, τα οποία απαγορεύουν στις μηχανές αναζήτησης να πλοηγούνται στις ιστοσελίδες τους [7]).
  • Περιεχόμενο που δεν είναι σε μορφή HTML: κείμενα που συμπεριλαμβάνονται σε multimedia αρχεία (εικόνες ή video) ή που έχουν συγκεκριμένη μορφή την οποία δεν μπορούν να χειριστούν οι μηχανές αναζήτησης.
  • Κείμενα που χρησιμοποιούν το παλαιότερο πρωτόκολλο Gopher και αρχεία που βρίσκονται σε διακομιστές FTP και τα οποία δεν μπορούν να εντοπιστούν από τις περισσότερες μηχανές αναζήτησης. Οι μηχανές αναζήτησης όπως η Google δεν δεικτοδοτούν ιστοσελίδες που βρίσκονται έξω από το πρωτόκολλο HTTP.[8]

Προσπέλαση[Επεξεργασία | επεξεργασία κώδικα]

Οι μηχανές αναζήτησης ανακαλύπτουν περιεχόμενο στο Web, χρησιμοποιώντας web crawlers που ακολουθούν συνδέσμους. Αυτή η τεχνική είναι ιδανική για να ανακαλύψει κανείς πληροφορίες στο Επιφανειακό Web (Surface Web) αλλά είναι αναποτελεσματική στην εύρεση πληροφοριών από το deep Web. Για παράδειγμα, αυτοί οι crawlers δεν προσπαθούν να βρουν δυναμικές ιστοσελίδες που προέρχονται από ερωτήματα σε βάσεις δεδομένων επειδή τα ερωτήματα αυτά θα ήταν θεωρητικά άπειρα.[2]

Το 2005, η Yahoo! έκανε ένα μικρό κομμάτι του deep Web ερευνήσιμο με τη χρήση των Yahoo! Subscriptions. Αυτή η μηχανή αναζήτησης ψάχνει μόνο μέσω λίγων συνδρομητικών ιστοτόπων. Κάποιοι τέτοιοι ιστότοποι εμφανίζουν όλο τους το περιεχόμενο στα robots των μηχανών αναζήτησης, έτσι ώστε να εμφανίζονται στις αναζητήσεις των χρηστών, αλλά μετά εμφανίζουν στους χρήστες μία σελίδα για login ή συνδρομή.

Αναφορές[Επεξεργασία | επεξεργασία κώδικα]

  1. http://brightplanet.com/images/uploads/12550176481-deepwebwhitepaper.pdf
  2. 2,0 2,1 Wright, Alex (2009-02-22). "Exploring a 'Deep Web' That Google Can’t Grasp". The New York Times. http://www.nytimes.com/2009/02/23/technology/internet/23search.html?th&emc=th. Ανακτήθηκε στις 2009-02-23. 
  3. 3,0 3,1 Bergman, Michael K (August 2001). "The Deep Web: Surfacing Hidden Value". The Journal of Electronic Publishing 7 (1). doi:10.3998/3336451.0007.104. http://brightplanet.com/images/uploads/12550176481-deepwebwhitepaper.pdf;view=text;rgn=main;idno=3336451.0007.104. 
  4. Michael, Lesk. "How much information is there in the world?". Retrieved on 2009-02-24.
  5. He, Bin (May 2007). "Accessing the Deep Web: A Survey". Communications of the ACM (CACM) 50 (2): 94–101. doi:10.1145/1230819.1241670. http://doi.acm.org/10.1145/1230819.1241670. 
  6. Denis Shestakov (2011). «Sampling the National Deep Web» (PDF). Proceedings of the 22nd International Conference on Database and Expert Systems Applications (DEXA). Springer. pp. 331-340. http://www.mendeley.com/download/public/1423991/4300016182/a07080a3191f90cc97cf60fcd21566b1b915d894/dl.pdf. Ανακτήθηκε στις 2011-10-06. 
  7. pragma:no-cache/cache-control:no-cache «HTTP 1.1: Header Field Definitions (14.32 Pragma)». HTTP — Hypertext Transfer Protocol. World Wide Web Consortium. 1999. http://www.w3.org/Protocols/rfc2616/rfc2616-sec14.html#sec14.32 pragma:no-cache/cache-control:no-cache. Ανακτήθηκε στις 2009-02-24. 
  8. «Gopher — DeepGeek». www.talkgeektome.us. 29 November 2009. Αρχειοθετήθηκε από το πρωτότυπο στις 25 July 2011. http://www.webcitation.org/60RCHAbNK. Ανακτήθηκε στις 25 Juli 2011. 

Επιπλέον Ανάγνωση[Επεξεργασία | επεξεργασία κώδικα]

Εξωτερικοί Σύνδεσμοι[Επεξεργασία | επεξεργασία κώδικα]