Deep Web
To Deep Web (επίσης γνωστό και ως Deepnet, DarkNet, Undernet, το αόρατο Web ή το κρυμμένο Web) αναφέρεται στο περιεχόμενο του World Wide Web που δεν ανήκει στο Επιφανειακό Web (Surface Web), το οποίο δεικτοδοτείται από μία συνηθισμένη μηχανή αναζήτησης.
Ο Mike Bergman, ιδρυτής του BrightPlanet,[1] που επινόησε τη φράση,[2] είχε πει πως το να ψάχνει κανείς στο Internet σήμερα είναι σαν να σέρνει ένα δίχτυ στην επιφάνεια του ωκεανού: πολλά μπορεί να πιαστούν στο δίχτυ, αλλά υπάρχει ένας πλούτος πληροφοριών που βρίσκονται βαθιά και επομένως δεν μπορούν να πιαστούν. Οι περισσότερες πληροφορίες του Web είναι θαμμένες μέσα σε ιστότοπους με δυναμικά παραγόμενες ιστοσελίδες, και οι συνηθισμένες μηχανές αναζήτησης δεν μπορούν να τις εντοπίσουν. Οι παραδοσιακές μηχανές αναζήτησης δεν μπορούν να ανακτήσουν το περιεχόμενο του deep Web. Αυτές οι σελίδες δεν υπάρχουν μέχρι να δημιουργηθούν δυναμικά ως το αποτέλεσμα μιας συγκεκριμένης αναζήτησης. Το deep Web είναι αρκετές τάξεις μεγέθους μεγαλύτερο από το επιφανειακό Web.[3]
Πίνακας περιεχομένων |
Μέγεθος [Επεξεργασία]
Σύμφωνα με εκτιμήσεις που έγιναν σε μία μελέτη στο Πανεπιστήμιο Berkeley της Καλιφόρνια (University of California, Berkeley) το 2001[3] , το deep Web αποτελείται περίπου από 91.000 terabytes. Αντίθετα το επιφανειακό Web (που είναι εύκολα προσπελάσιμο από τις μηχανές αναζήτησης) είναι περίπου 167 terabytes. Η Βιβλιοθήκη του Αμερικάνικου Κονγκρέσου, υπολογίστηκε πως το 1997 είχε 3.000 terabytes. Το 2011, το YouTube υπολογίζεται ότι είχε αποθηκευμένα περίπου 200 εκατομμύρια βίντεο, συνολικού μεγέθους 5 petabytes ή 5000 terabytes. Ο υπολογισμός του μεγέθους του web διαφέρει από πηγή σε πηγή και έτσι υπάρχει ένα μεγάλο περιθώριο λάθους και κανένας αριθμός δε μπορεί να θεωρηθεί ως ακριβής. [4] Ωστόσο σχετικά με τον αριθμό των πηγών του deep Web υπάρχουν πιο ακριβείς εκτιμήσεις: Το 2004 ο He ανακάλυψε 300.000 deep web sites σε ολόκληρο το Web ,[5] και σύμφωνα με τον Shestakov, περίπου 14.000 deep web sites υπήρχαν στο Ρώσικο τμήμα του Web το 2006.[6]
Πληροφορίες του Deep Web [Επεξεργασία]
Οι πληροφορίες του Deep Web ανήκουν σε μία ή περισσότερες από τις παρακάτω κατηγορίες:
- Δυναμικά παραγόμενο περιεχόμενο: δυναμικές ιστοσελίδες οι οποίες δημιουργούνται ως αποτέλεσμα της εκτέλεσης κάποιας επερώτησης (query) ή προσπελαύνονται μόνο μέσω κάποιας φόρμας.
- Μη συνδεδεμένο περιεχόμενο: ιστοσελίδες οι οποίες δεν περιέχουν συνδέσμους από άλλες ιστοσελίδες, εμποδίζοντας έτσι τα προγράμματα που κάνουν Web crawling να επισκεφθούν το περιεχόμενό τους.
- Ιδιωτικό Web: ιστότοποι που απαιτούν εγγραφή (registration) και κωδικό πρόσβασης.
- Περιεχόμενο περιορισμένης πρόσβασης: ιστότοποι που περιορίζουν την πρόσβαση στις σελίδες τους με τεχνικό τρόπο (π.χ. χρησιμοποιώντας το Robots Exclusion Standard, CAPTCHAs, ή το no-cache Pragma στις επικεφαλίδες του πρωτοκόλλου HTTP, τα οποία απαγορεύουν στις μηχανές αναζήτησης να πλοηγούνται στις ιστοσελίδες τους [7]).
- Περιεχόμενο που δεν είναι σε μορφή HTML: κείμενα που συμπεριλαμβάνονται σε multimedia αρχεία (εικόνες ή video) ή που έχουν συγκεκριμένη μορφή την οποία δεν μπορούν να χειριστούν οι μηχανές αναζήτησης.
- Κείμενα που χρησιμοποιούν το παλαιότερο πρωτόκολλο Gopher και αρχεία που βρίσκονται σε διακομιστές FTP και τα οποία δεν μπορούν να εντοπιστούν από τις περισσότερες μηχανές αναζήτησης. Οι μηχανές αναζήτησης όπως η Google δεν δεικτοδοτούν ιστοσελίδες που βρίσκονται έξω από το πρωτόκολλο HTTP.[8]
Προσπέλαση [Επεξεργασία]
Οι μηχανές αναζήτησης ανακαλύπτουν περιεχόμενο στο Web, χρησιμοποιώντας web crawlers που ακολουθούν συνδέσμους. Αυτή η τεχνική είναι ιδανική για να ανακαλύψει κανείς πληροφορίες στο Επιφανειακό Web (Surface Web) αλλά είναι αναποτελεσματική στην εύρεση πληροφοριών από το deep Web. Για παράδειγμα, αυτοί οι crawlers δεν προσπαθούν να βρουν δυναμικές ιστοσελίδες που προέρχονται από ερωτήματα σε βάσεις δεδομένων επειδή τα ερωτήματα αυτά θα ήταν θεωρητικά άπειρα.[2]
Το 2005, η Yahoo! έκανε ένα μικρό κομμάτι του deep Web ερευνήσιμο με τη χρήση των Yahoo! Subscriptions. Αυτή η μηχανή αναζήτησης ψάχνει μόνο μέσω λίγων συνδρομητικών ιστοτόπων. Κάποιοι τέτοιοι ιστότοποι εμφανίζουν όλο τους το περιεχόμενο στα robots των μηχανών αναζήτησης, έτσι ώστε να εμφανίζονται στις αναζητήσεις των χρηστών, αλλά μετά εμφανίζουν στους χρήστες μία σελίδα για login ή συνδρομή.
Αναφορές [Επεξεργασία]
- ↑ http://brightplanet.com/images/uploads/12550176481-deepwebwhitepaper.pdf
- ↑ 2,0 2,1 Wright, Alex (2009-02-22). "Exploring a 'Deep Web' That Google Can’t Grasp". The New York Times. http://www.nytimes.com/2009/02/23/technology/internet/23search.html?th&emc=th. Ανακτήθηκε στις 2009-02-23.
- ↑ 3,0 3,1 Bergman, Michael K (August 2001). "The Deep Web: Surfacing Hidden Value". The Journal of Electronic Publishing 7 (1). doi:. http://brightplanet.com/images/uploads/12550176481-deepwebwhitepaper.pdf;view=text;rgn=main;idno=3336451.0007.104.
- ↑ Michael, Lesk. "How much information is there in the world?". Retrieved on 2009-02-24.
- ↑ He, Bin (May 2007). "Accessing the Deep Web: A Survey". Communications of the ACM (CACM) 50 (2): 94–101. doi:. http://doi.acm.org/10.1145/1230819.1241670.
- ↑ Denis Shestakov (2011). Sampling the National Deep Web (PDF). Proceedings of the 22nd International Conference on Database and Expert Systems Applications (DEXA). Springer. pp. 331-340. http://www.mendeley.com/download/public/1423991/4300016182/a07080a3191f90cc97cf60fcd21566b1b915d894/dl.pdf. Ανακτήθηκε στις 2011-10-06.
- ↑ pragma:no-cache/cache-control:no-cache HTTP 1.1: Header Field Definitions (14.32 Pragma). HTTP — Hypertext Transfer Protocol. World Wide Web Consortium. 1999. http://www.w3.org/Protocols/rfc2616/rfc2616-sec14.html#sec14.32 pragma:no-cache/cache-control:no-cache. Ανακτήθηκε στις 2009-02-24.
- ↑ Gopher — DeepGeek. www.talkgeektome.us. 29 November 2009. Αρχειοθετήθηκε από το πρωτότυπο στις 25 July 2011. http://www.webcitation.org/60RCHAbNK. Ανακτήθηκε στις 25 Juli 2011.
Επιπλέον Ανάγνωση [Επεξεργασία]
- Barker, Joe (Jan 2004), Invisible Web: What it is, Why it exists, How to find it, and its inherent ambiguity, Teaching Library Internet Workshops, Berkeley, CA, USA: UC, http://www.lib.berkeley.edu/TeachingLib/Guides/Internet/InvisibleWeb.html.
- Gruchawka, Steve (June 2006), How-To Guide to the Deep Web, http://techdeepweb.com/.
- Hamilton, Nigel (2003), The Mechanics of a Deep Net Metasearch Engine, 12th World Wide Web Conference, http://www2003.org/cdrom/papers/poster/p170/poster/poster.html.
- He, Bin (2003). Statistical Schema Matching across Web Query Interfaces (PDF). Proceedings of the 2003 ACM SIGMOD International Conference on Management of Data. http://eagle.cs.uiuc.edu/pubs/2003/unifiedschema-sigmod03-hc-mar03.pdf.
- Ipeirotis, Panagiotis G. (2001). Probe, Count, and Classify: Categorizing Hidden-Web Databases (PDF). Proceedings of the 2001 ACM SIGMOD International Conference on Management of Data. pp. 67–78. http://qprober.cs.columbia.edu/publications/sigmod2001.pdf.
- King, John D. (November 2007). "Mining World Knowledge for Analysis of Search Engine Content" (PDF). Web Intelligence and Agent Systems: an International Journal 5 (3): 233–53. http://sky.fit.qut.edu.au/~kingj2/downloads/king07mining.pdf.
- McCown, Frank (Mar/Apr 2006). "Search Engine Coverage of the OAI-PMH Corpus" (PDF). IEEE Internet Computing 10 (2): 66–73. doi:. http://library.lanl.gov/cgi-bin/getfile?LA-UR-05-9158.pdf.
- Price, Gary; Sherman, Chris (July 2001). The Invisible Web: Uncovering Information Sources Search Engines Can't See. CyberAge Books. ISBN 0-910965-51-X.
- Shestakov, Denis (June 2008). Search Interfaces on the Web: Querying and Characterizing. TUCS Doctoral Dissertations 104, University of Turku
- Wright, Alex (Mar 2004), In Search of the Deep Web, Salon, http://www.salon.com/tech/feature/2004/03/09/deep_web/.
- Caio, Noilson (Jul 2011), Introdução a invisible web, http://ncaio.ithub.com.br/2011/07/18/introducao-a-invisible-web/.
Εξωτερικοί Σύνδεσμοι [Επεξεργασία]
- Whoriskey, Peter (Thursday, December 11, 2008), Firms Push for a More Searchable Federal Web, The Washington Post, σελ. D01, http://www.washingtonpost.com/wp-dyn/content/article/2008/12/10/AR2008121003241.html.
