Scrapy
Υπευθ. ανάπτυξης | Zyte (πρώην Scrapinghub) | |
---|---|---|
Aρχική έκδοση | 26 Ιουνίου 2008 | |
Σταθερή έκδοση | 2.6.1[1]
/ 1 Μαρτίου 2022
| |
Αποθετήριο | ||
Γραμμένο σε | Python | |
Λειτουργικό σύστημα | Windows, macOS, Linux | |
Κατηγορία | Web crawler | |
Άδεια Λογισμικού | BSD | |
Ιστοσελίδα | scrapy.org |
Το Scrapy (SKRAY-peye ) είναι ένα δωρεάν και ανοιχτού κώδικα πλαίσιο λογισμικού για ανίχνευση ιστοσελίδων γραμμένο σε Python. Αρχικά σχεδιασμένο για απόξεση ιστού, μπορεί επίσης να χρησιμοποιηθεί για εξαγωγή δεδομένων χρησιμοποιώντας API ή ως πρόγραμμα ανίχνευσης ιστού γενικής χρήσης. [2] Αυτή τη στιγμή διατηρείται από τη Zyte πρώην Scrapinghub, μια εταιρεία ανάπτυξης και υπηρεσιών web-scraping.
Η αρχιτεκτονική του Scrapy project είναι ανεπτυγμένη γύρω από "αράχνες", οι οποίες είναι αυτόνομα ερπυστριοφόρα προγράμματα που λαμβάνουν ένα σύνολο οδηγιών. Διευκολύνει τη δημιουργία και την κλιμάκωση μεγάλων έργων ανίχνευσης, επιτρέποντας στους προγραμματιστές να επαναχρησιμοποιήσουν τον κώδικά τους.
Το πλαίσιο Scrapy παρέχει ισχυρές δυνατότητες, όπως auto-throttle , περιστρεφόμενους διακομιστές μεσολάβησης και πράκτορες χρήστη, επιτρέποντάς το σχεδόν απαρατήρητο scraping στο διαδίκτυο. Το Scrapy παρέχει επίσης ένα κέλυφος ανίχνευσης ιστού, το οποίο μπορεί να χρησιμοποιηθεί από προγραμματιστές προκειμένου να δοκιμάσουν τυχούσες υποθέσεις τους σχετικά με τη συμπεριφορά ενός ιστότοπου. [3]
Κάποιοι δημοφιλείς οργανισμοί και προϊόντα που χρησιμοποιούν το Scrapy είναι: Lyst, [4] [5] Parse.ly, [6] Sayone Technologies, [7] Sciences Po Medialab, [8] Data.gov.uk 's World Government Data Data . [9] [1] Αρχειοθετήθηκε 2018-08-16 στο Wayback Machine.
Παραπομπές
[Επεξεργασία | επεξεργασία κώδικα]- ↑ https://github.com/scrapy/scrapy/releases/tag/2.6.1; publication date: 1 March 2022; retrieved: 11 March 2022.
- ↑ Scrapy at a glance.
- ↑ «Scrapy shell». Ανακτήθηκε στις 28 Ιουλίου 2015.
- ↑ Bell, Eddie· Heusser, Jonathan. «Scalable Scraping Using Machine Learning». Αρχειοθετήθηκε από το πρωτότυπο στις 9 Οκτωβρίου 2016. Ανακτήθηκε στις 28 Ιουλίου 2015.
- ↑ Scrapy | Companies using Scrapy
- ↑ Montalenti, Andrew. «Web Crawling & Metadata Extraction in Python».
- ↑ «Scrapy Companies». Scrapy website.
- ↑ Hyphe v0.0.0: the first release of our new webcrawler is out!
- ↑ Ben Firshman [@bfirsh] (21 Ιανουαρίου 2010). «World Govt Data site uses Django, Solr, Haystack, Scrapy and other exciting buzzwords bit.ly/5jU3La #opendata #datastore» (Tweet) – μέσω Twitter.