Crowdsourcing

Από τη Βικιπαίδεια, την ελεύθερη εγκυκλοπαίδεια
Μετάβαση σε: πλοήγηση, αναζήτηση

Crowdsourcing ή πληθοπορισμός είναι η πράξη της εξωτερικής ανάθεσης καθηκόντων, που παραδοσιακά εκτελούνταν από υπάλληλο ή εργολάβο, σε μια μεγάλη ομάδα εθελοντών ή μία κοινότητα, μέσω ανοικτής πρόσκλησης.

Οι Estellés-Arolas και González Ladrón-de- Guevara έδωσαν τον εξής ορισμό για τον πληθοπορισμό:

Ο πληθοπορισμός είναι μία μορφή συλλογικής διαδικτυακής δραστηριότητας στην οποία ένα άτομο, ένα ίδρυμα, ένας μη κερδοσκοπικός οργανισμός ή μία εταιρεία προτείνει σε μία ομάδα ατόμων με ποίκιλλες γνώσεις, ετερογένεια και αριθμό, μέσω μίας ανοιχτής πρόσκλησης, να αναλάβουν εθελοντικά μια εργασία. Η ανάληψη της εργασίας, η οποία ποικίλλει σε πολυπλοκότητα και στο βαθμό στον οποίο είναι χωρισμένη και στην οποία το πλήθος πρέπει να συμμετάσχει με προσωπική εργασία, χρήματα, γνώση, εμπειρία, περιλαμβάνει πάντοτε αμοιβαίο όφελος και για τις δύο πλευρές. Οι χρήστες λαμβάνουν την ικανοποίηση κάποιας ανάγκης τους, είτε αυτή είναι οικονομική, είτε κοινωνική αναγνώριση, προσωπική ικανοποίηση, ανάπτυξη ατομικών ικανοτήτων σε κάποιο τομέα, ενώ ο εκκινητής της πρωτοβουλίας (πληθοποριστής) αποκτά και χρησιμοποιεί προς όφελός του, αυτά που έχει συνεισφέρει ο χρήστης στο εγχείρημα, τα οποία εξαρτώνται από τη δραστηριότητα που έχει αναλάβει ο χρήστης.

[1]

Ο Jeff Howe, ένας από τους πρώτους που χρησιμοποίησαν τον όρο, καθόρισε πως η έννοια του crowdsourcing εξαρτάται ουσιαστικά από το γεγονός πως εφόσον πρόκειται για ανοικτή πρόσκληση σε ένα άγνωστο πλήθος ατόμων, συγκεντρώνει αυτούς που είναι οι πιο ικανοί για να αναλάβουν καθήκοντα, να λύσουν πολύπλοκα προβλήματα και να συνεισφέρουν με τις πλέον σχετικές και φρέσκες ιδέες.

Για παράδειγμα, το κοινό μπορεί να προσκληθεί να αναπτύξει μια νέα τεχνολογία, να αναλάβει μια εργασία σχεδίασης (γνωστό και ως συνεργατικός σχεδιασμός[2] ή "δημοκρατικός σχεδιασμός" και "κατανεμημένος συνεργατικός σχεδιασμός", να εξειδικεύσει ή να υλοποιήσει τα βήματα ενός αλγορίθμου ("ανθρωπογενής υπολογιστική"), ή να βοηθήσει στην αποτύπωση, συστηματοποίηση ή ανάλυση δεδομένων μεγάλου μεγέθους.

Ο όρος έχει γίνει δημοφιλής στις επιχειρήσεις, συγγραφείς και δημοσιογράφους, ως μια συντόμευση της τάσης για την ανάδειξη της μαζικής συνεργασίας που προσφέρουν οι τεχνολογίες του Web 2.0, προκειμένου να επιτευχθούν συγκεκριμένοι επιχειρηματικοί στόχοι. Πρόσφατα, ο πληθοπορισμός αξιοποιείται από κυβερνήσεις και μη κερδοσκοπικούς οργανισμούς για κοινωφελείς λόγους, διευρύνοντας τη συμμετοχικότητα και ενισχύοντας την κοινωνική συνοχή.

Ιστορία[Επεξεργασία | επεξεργασία κώδικα]

Ο όρος "crowdsourcing" προέρχεται από την ένωση των λέξεων crowd (πλήθος) και outsourcing (εξωτερική ανάθεση εργασιών) και χρησιμοποιήθηκε για πρώτη φορά από τον Jeff Howe τον Ιούνιο του 2006 στην έκδοση του Wired με τίτλο "The Rise of Crowdsourcing".[3][4]. Ο Howe εξηγεί πως επειδή η εξέλιξη της τεχνολογίας έχει οδηγήσει σε φθηνότερες καταναλωτικές ηλεκτρονικές συσκευές, η απόσταση μεταξύ επαγγελματιών και ερασιτεχνών έχει ελαχιστοποιηθεί. Οι εταιρείες μπορούν πλέον να αξιοποιήσουν τα ταλέντα του κοινού και ο Howe σημειώνει πως «δεν πρόκειται για outsourcing; είναι crowdsourcing.» Μια λιγότερο εμπορική προσέγγιση δόθηκε από τον Henk van Ess το Σεπτέμβριο του 2010: “Το Crowdsourcing είναι η δρομολόγηση της επιθυμίας των ειδικών να λύσουν ένα πρόβλημα και να μοιραστούν ελεύθερα την απάντησή του με όλους”.

Τα έργα που χρησιμοποιούν τη συλλογική ευφυΐα, όπως το LazyWeb ή το ESP Game του Luis von Ahn, προηγούνται του όρου crowdsourcing για πάρα πολλά χρόνια. Πρόσφατα, το Διαδίκτυο χρησιμοποιείται για τη δημοσίευση και διαχείριση έργων crowdsourcing.

Επισκόπηση[Επεξεργασία | επεξεργασία κώδικα]

Ο πληθοπορισμός είναι ένα μοντέλο κατανεμημένης επίλυσης προβλημάτων και λειτουργίας. Με την τυπική έννοια του όρου, τα προβλήματα δημοσιεύονται σε ένα άγνωστο πλήθος χρηστών, μέσω μιας ανοικτής πρόσκλησης για την παροχή λύσεων. Οι χρήστες - οι οποίοι αναφέρονται και ως το πλήθος, δηλαδή crowd - σχηματίζουν κοινότητες στο Διαδίκτυο και υποβάλουν λύσεις. Το πλήθος αξιολογεί επίσης τις λύσεις, επιλέγοντας τις καλύτερες. Αυτές οι λύσεις επιλέγονται από την αρχική οντότητα που έθεσε το πρόβλημα, ενώ τα φυσικά πρόσωπα που της πρότειναν, ανταμείβονται κάποιες φορές. Σε ορισμένες περιπτώσεις, αυτή η εργασία ανταμείβεται είτε χρηματικά, είτε με βραβεία, είτε με αναγνώριση. Σε κάποιες άλλες περιπτώσεις, η ανταμοιβή είναι απλά η φήμη, είτε η διανοητική ικανοποίηση. Ο πληθοπορισμός μπορεί να παράγει λύσεις από ερασιτέχνες ή εθελοντές που δουλεύουν στον ελεύθερο χρόνο τους, ή από ειδικούς και μικρές επιχειρήσεις που είναι άγνωστες στο διοργανωτή.[4] Ο Jeff Howe έχει διακρίνει τέσσερις τύπους στρατηγικών για crowdsourcing:

  • Crowdfunding (συγκέντρωση χρηματικών κεφαλαίων)
  • Crowdcreation (συλλογική δημιουργία)
  • Crowdvoting (συλλογική ψηφοφορία)
  • Crowd wisdom (συλλογική ευφυία)

Τα πλεονεκτήματα του crowdsourcing είναι τα παρακάτω:

  • Τα προβλήματα μπορούν να επιλυθούν με συγκριτικά μικρό κόστος και συχνά πολύ γρήγορα.
  • Η ανταμοιβή γίνεται με βάση τα αποτελέσματα ή δεν υπάρχει καν
  • Ο οργανισμός μπορεί να αξιοποιήσει ένα μεγαλύτερο εύρος δεξιοτήτων από αυτό που διαθέτει.[5]
  • Ακούγοντας το πλήθος, οι οργανισμοί αποκτούν άμεση επίγνωση των επιθυμιών των πελατών τους.

Ο πληθοπορισμός έχει δεχθεί κριτική για διάφορους λόγους, όπως για το ότι δεν παράγει πάντα ποιοτικά αποτελέσματα, ή επειδή χρησιμοποιείται για την ανάθεση φθηνής - ή ακόμη δωρεάν - εργασίας. Όταν το Facebook ξεκίνησε το πρόγραμμα προσαρμογής του σε τοπικές γλώσσες το 2008, αντιμετώπισε και τα δύο είδη κριτικής.[6]

Η διαφορά μεταξύ του crowdsourcing και του τυπικού outsourcing είναι πως το πρόβλημα ανατίθεται σε ένα αδιευκρίνιστο κοινό, αντί σε έναν συγκεκριμένο οργανισμό. Η διαφορά μεταξύ του πληθοπορισμού και του ανοικτού λογισμικού είναι πως η παραγωγή ανοικτού λογισμικού είναι μια συνεργατική διαδικασία που εκκινείται και αναλαμβάνεται εθελοντικά από μέλη του κοινού. Στο crowdsourcing η δραστηριότητα ξεκινά από έναν οργανισμό και η δουλειά μπορεί να αναληφθεί από ένα άτομο ή μια ομάδα.[7]

Θεωρητικές προσεγγίσεις [Επεξεργασία | επεξεργασία κώδικα]

H θεωρητική προσέγγιση Crowd Capital εξηγεί πώς και γιατί οι οργανισμοί εμπλέκουν το πλήθος μέσω των ΤΠΕ για να παράγουν ετερογενείς πληροφορίες. Η προσέγγιση Crowd Capital επίσης γενικεύει τις δυναμικές αρκετών σημαντικών ερευνητικών περιοχών που δίνουν έμφαση σε IT-mediated Crowds including; Crowdsourcing, Citizen Science, Prediction Markets, Open Innovation platforms, Crowdfunding και Wikis.[8]

Χτίζοντας στις εργασίες του Friedrich Hayek, η προσέγγιση Crowd Capital προσεγγίζει  την κατανεμημένη γνώση ως μια προηγούμενη κατασκευή της έννοιας που αντιπροσωπεύει πλέον τους πόρους που μπορεί να συγκεντρωθούν από το πλήθος. Τα πλήθη εμπλέκονται και ενεργοποιούνται συνήθως μέσα από την ικανότητα ενός οργανισμού να τα κινητοποιήσει (Crowd Capability).[9]

Η νέα εννοιολόγηση περιλαμβάνει τρεις διαστάσεις: τη δομή, το περιεχόμενο και τη διαδικασία, ως ένα σύνολο που αναπαριστά τα συστατικά ενεργοποίησης του πλήθους. Η προσέγγιση Crowd Capital είναι το αποτέλεσμα της συγκεκριμένης σύλληψης και αναπαριστά τους δυνητικούς πόρους που παράγονται όταν ένας οργανισμός εμπλέκει πλήθη μέσα από την Ικανότητα Κινητοποίησης Πλήθους (Crowd Capability).

Η προσέγγιση Crowd Capital είναι πάντα μια διαδικασία που διαμεσολαβείται από απο τις ΤΠΕ και χωρίς αυτές δεν είναι δυνατόν να ενεργοποιηθεί. Κατά συνέπεια, η ενεργοποίηση του πλήθους δεν μπορεί να ενεργοποιήσει Κεφάλαιο Πλήθους (Crowd Capital).[10]

Ικανότητα Κινητοποίησης Πλήθους

Η Ικανότητα Κινητοποίησης Πλήθους (Crowd Capability) περιέχει τρεις διαστάσεις: τη δομή, το περιεχόμενο και τη διαδικασία, ως ένα σύνολο που αναπαριστά τα συστατικά ενεργοποίησης του πλήθους. Η δομή αναπαριστά τις ΤΠΕ που χρησιμοποιούνται για να ενεργοποιήσουν ένα πλήθος. Το περιεχόμενο αναπαριστά τον τύπο της εισροής που επιδιώκεται από ένα πλήθος, ενώ η διάσταση της διαδικασίας αποτυπώνει την οργάνωση που αξιοποιείται.[11]  Οι τρεις διαστάσεις πρέπει να εφαρμοστούν ταυτόχρονα από έναν οργανισμό προκειμένου να κινητοποιηθούν ετερογενείς πόροι από κατανεμημένη γνώση.

Υποδομές ΤΠΕ

Η προσέγγιση Crowd Capital αναγνωρίζει μια διάκριση στη διάσταση της δομής, η οποία μπορεί να πάρει δυο μορφές: Τμηματοποιημένη ή Συνεργατική Δομή (Episodic or Collaborative). Οι Τμηματοποιημένες δομές αναφέρονται σε διαδικασίες όπου οι συμμετέχοντες δεν αλληλεπιδρούν μέσω μιας συγκεκριμένης διαδικασίας ήη δομής ΤΠΕ. Στις συνεργατικές δομές αντίθετα, οι συμμετέχοντες αλληλεπιδρούν μέσω σχετικών δομών. Παραδείγματα Τμηματοποιημένων δομών είναι οι εφαρμογές reCAPTCHA και Foldit, ενώ το Enterprise wikis και η χρήση των κοινωνικών μέσων δικτύωσης αποτελούν Συνεργατικές δομές.[12]

Ιστορικά Παραδείγματα[Επεξεργασία | επεξεργασία κώδικα]

Παρότι η έννοια του πληθοπορισμού έγινε γνωστή για σχετικές διαδικασίες μέσω διαδικτύου,[13] υπάρχουν πολλές προσπάθειες που αναδρομικά θα μπορούσαν να χαρακτηριστούν ώς τέτοιες.   

The Oxford English Dictionary

To Oxford English Dictionary (OED) αποτυπώνει ένα από τα πιο παλιά παραδείγματα πληθοπορισμού. Στα μέσα του 19ου αιώνα, μια ανοικτή πρόσκληση προς εθελοντές δημοσιοποιήθηκε, με σκοπό τη συγκέντρωση όλων των λέξεων στην Αγγλική γλώσσα με συνοδεία παραδείγματων χρήσης.[24] Συνολικά, συγκεντρώθηκαν πάνω από έξι εκατομμύρια στοιχεία σε μια περίοδο διάρκειας 70 ετών. Η δημιουργία του OED περιγράφεται στοThe Surgeon of Crowthorne (το οποίο δημοιεύθηκε στις ΗΠΑ με τον τίτλο "The Professor and the Madman"), από τον Simon Winchester.[14]

Παραδείγματα[Επεξεργασία | επεξεργασία κώδικα]

Σήμερα, ο πληθοπορισμός έχει μεταφερθεί σε επίπεδο διαδικτύου. Το διαδίκτυο προσφέρει περισσότερες δυνατότητες ανάπτυξης του πληθοπορισμού καθότι τα άτομα έιναι περισσότερο πρόθυμα να συμβάλλουν σε διαδικτυακά projects[15].

Σύγχρονα παραδείγματα πληθοπορισμού

Υπάρχουν ορισμένες κατηγορίες που έχουν κατά καιρούς χρησιμοποιηθεί αποτελεσματικά στον εμπορικό κόσμο. Κάποιες από τις διαδικτυακές προσπάθειες περιλαμβάνουν: crowdvoting, crowdfunding, microwork, creative crowdsourcing, Crowdsource Workforce Management και inducement prize contests. Παρότι εντοπίζονται κι άλλες μορφές, αυτές αποτελούν ορισμένες από τις πιο χαρακτηριστικές κατηγορίες μέσα από τις οποίες το πλήθος επιτελεί δραστηριότητες[16]

Το Amazon Mechanical Turk είναι μία διαδικτυακή αγορά η οποία δίνει την ευκαιρία σε προγραμματιστές να συντονίσουν την ανθρώπινη ευφυΐα ώστε να λύσουν προβλήματα τα οποία δεν μπορούν να λυθούν από υπολογιστή.[17]

Το «2009 DARPA Network challenge» ήταν ένας διαγωνισμός που έγινε στις ΗΠΑ. Ο διαγωνισμός χορηγήθηκε από το Defense Advanced Research Projects Agency (DARPA). Οι ομάδες που συμμετείχαν στο διαγωνισμό έπρεπε να εντοπίσουν 10 κόκκινα μετεωρολογικά μπαλόνια τα οποία τοποθετήθηκαν σε 10 σημεία στις ΗΠΑ. Οι ομάδες χρησιμοποίησαν τα κοινωνικά δίκτυα για να εντοπίσουν τα μπαλόνια.[18]

Το Johnny Cash Project είναι ένα συλλογικό έργο τέχνης. Οποιοσδήποτε μπορεί να λάβει μέρος σχεδιάζοντας ένα πλαίσιο από ένα video clip του Johnny Cash.[19]

Σύγχρονες μέθοδοι

Στις μέρες μας, ο πληθοπορισμός έχει μεταφερθεί κυρίως σε δραστηριότητες μέσω διαδικτύου (Internet). Tο Internet αποτελεί μια καλή δίοδο για τον πληθοπορισμό, δεδομένουν ότι τα άτομα φαίνεται να αισθάνονται καλύτερα στο να συμμετέχουν σε web-based projects. Σε μια διαδικτυακή ατμόσφαιρα, περισσότερη προσοχή δίνεται συνήθως στις ανάγκες της προσπάθειας, παρά στην επικοινωνία με τους υπόλοιπους συμμετέχοντες.[20]

Ο πληθοπορισμός μπορεί να λάβει μια ρητή ή άρρητη μορφή. Αυτό που ρητά ορίζεται ως πληθοπορισμός (explicit crowdsourcing) επιτρέπει στους χρήστες να εργαστούν από κοινού με σκοπό να αξιολογήσουν, να διαμοιραστούν και να χτίσουν διαφορετικά εργασίες, ενώ οι έμμεσες μορφές πληθοπορισμού (implicit crowdsourcing) αφορούν σε περιπτώσεις όπου οι χρήστες λύνουν ένα πρόβλημα ως παράπλευρη δραστηριότητα μιας κάποιας άλλης προσπάθειας. 

Μέσω της ρητής μορφής του πληθοπορισμού, οι χρήστες αξιολογούν ή μοιράζονται αντικείμενα. Οι χρήστες μπορούν επίσης να διαμορφώσουν αντικείμενα προωθώντας πληροφορία και διορθώνοντας διαθέσιμες εργασίες άλλων. [21]

Οι έμμεσες μορφές πληθοπορισμού μπορούν να πάρουν δυο διαστάσεις: οι απομονωμένες (standalone) και οι περισσότερο συνεργατικές (piggyback) που αξιοποιούν διαθέσιμη πληροφορία.[22]

Στο βιβλιο του (2013), Crowdsourcing, ο Daren C. Brabham αποτυπώνει μια τυπολογία για τις μορφές πληθοπορισμού:[23]

  • Ανακάλυψη και Διαχείριση Γνώσης: αφορά σε περιπτώσεις όπου αναζητείται η επίλυση ενός προβλήματος σε έναν οργανισμό μέσω της κινητοποίησης του πλήθους. Ιδανικό για τη δημιουργία συλλογικών αγαθών.
  • Κατανεμημένη Διαχείριση Ανθρώπινης Ευφυίας: αφορά σε περιπτώσεις, όπου ένας οργανισμός έχει ένα σύνολο δεδομένων και κινητοποιεί τα πλήθη για να αναλύσει την πληροφορία. Ιδανικό για την επεξεργασία μεγάλων συνόλων δεδομένων.  
  • Αναγγελίες αναζήτησης: αφορά σε περιπτώσεις προβλημάτων δημιουργίας ιδεών, όπου ένας οργανισμός κινητοποιεί το πλήθος με σκοπό να αποτυπώσει μια αντικειμενική απάντηση. Ιδανικό για την επίλυση επιστημονικών προβλημάτων.
  • Oμότιμα ελεγμένη δημιουργική παραγωγή: αφορά σε περιπτώσεις προβλημάτων όπου ένας οργανισμός κινητοποιεί το πλήθος με σκοπό να παρουσιάσει μια λύση σε ένα πρόβλημα, το οποίο διατηρεί μια υποκειμενική απάντηση ή εξαρτάται από τη δημόσια υποστήριξη. Ιδανικό για περιπτώσεις σχεδιασμού, αισθητικής ή προβλήματα πολιτικής.

Κυβερνήσεις και Μη Κερδοσκοπική Χρήση[Επεξεργασία | επεξεργασία κώδικα]

Ο πληθοπορισμός προσφέρει επιπλέον τη δυνατότητα να αποτελέσει ένα μηχανισμό επίλυσης προβλημάτων για κυβερνήσεις και μη κερδοσκοπική χρήση. Η διαφορά σε σχέση με την αξιοποίηση του crowdsourcing για επιχειρηματικούς σκοπούς είναι πως ο αρχικός δημιουργός της διαδικασίας επίλυσης του προβλήματος (κυβέρνηση, μη κερδοσκοπικοί οργανισμοί) και οι συμμετέχοντες στη διαδικασία (πολίτες), έχουν αμοιβαία και κοινά οφέλη. Για παράδειγμα, ένα έργο πληθοπορισμού για την καταγραφή των παράνομων διαφημιστικών πινακίδων[24], βοηθά την κυβέρνηση να εντοπίσει το πρόβλημα άμεσα, με μικρό κόστος και να το λύσει. Κατά συνέπεια, οι πολίτες έχουν συνεισφέρει τη συλλογική εθελοντική εργασία τους και ωφελούνται οι ίδιοι βελτιώνοντας την ποιότητα ζωής τους, καθώς βοηθούν στην επίλυση του προβλήματος και στην αποφυγή των τροχαίων ατυχημάτων.

Αντίστοιχα, η εθελοντική συνεισφορά και τα εργαλεία του crowdsourcing μπορούν να προσφέρουν άμεσες λύσεις σε περιπτώσεις κρίσεων και φυσικών καταστροφών, σε παγκόσμιο επίπεδο. Στην περίπτωση του σεισμού της Αϊτής στις 12 Ιανουαρίου 2010, τα σωστικά συνεργεία άλλων χωρών, αντιμετώπισαν δύο πρακτικά και κρίσιμα προβλήματα. Αφενός δεν υπήρχε διαθέσιμο σε ψηφιακή μορφή το οδικό δίκτυο της Αϊτής, αφετέρου δεν υπήρχε τρόπος ενημέρωσης των σωστικών συνεργείων και του γενικού πληθυσμού για τις περιοχές με πόσιμο νερό, στέγη, φαγητό. Τη λύση έδωσαν εθελοντές από όλο τον κόσμο, μέσω της κοινότητας του OpenStreetMap[25].

Γενικότερα, η ανάπτυξη των συνεργατικών υπηρεσιών στο Διαδίκτυο, η κουλτούρα της εθελοντικής συμμετοχής, τα κοινωνικά δίκτυα και τα έργα ανοικτού περιεχομένου και δεδομένων, οδηγούν σε μια νέα συλλογική πραγματικότητα στο Διαδίκτυο. Εθελοντές, αναλαμβάνουν συλλογικά να εκτελέσουν ένα έργο ή να προσφέρουν μια υπηρεσία, μοιράζοντας μεταξύ τους την προσπάθεια και προσφέροντας ελεύθερα τα αποτελέσματά της. Δηλαδή το πλήθος μπορεί να προσφέρει τη συλλογική εμπειρία και ευφυΐα για το κοινό καλό. Αυτή η παγκόσμια δυναμική συμμετοχής και αλληλοβοήθειας, είναι ευκαιρία για να παρακαμφθούν αργοκίνητες και πολύπλοκες γραφειοκρατικές διαδικασίες ή/και να αντιμετωπιστεί η έλλειψη πόρων, ώστε να δοθούν άμεσες λύσεις σε σημαντικά προβλήματα, ενισχύοντας παράλληλα την αλληλεγγύη και την κοινωνική συνοχή.

Άλλα παραδείγματα crowdsourcing στην Ελλάδα είναι:

  • Οι εθελοντικές αναδασώσεις και φροντίδα για τις καμένες περιοχές της χώρας[26].
  • Οι Atenistas[27].

Υποσημειώσεις[Επεξεργασία | επεξεργασία κώδικα]

  1. [E. Estellés-Arolas & F. González Ladrón-de- Guevara. Towards an integrated crowdsourcing definition. Journal of Information Science (JCR: 1,41), 2012 ]
  2. Crowd Sourcing Turns Business On Its Head
  3. David Whitford (2007-03-22). «Hired Guns on the Cheap». Fortune Small Business. http://money.cnn.com/magazines/fsb/fsb_archive/2007/03/01/8402019/index.htm. Ανακτήθηκε στις 2007-08-07. 
  4. 4,0 4,1 Jeff Howe (June 2006). «The Rise of Crowdsourcing». Wired. http://www.wired.com/wired/archive/14.06/crowds.html. Ανακτήθηκε στις 2007-03-17. 
  5. Noveck, Simone. (2009). Wiki Government: How Technology Can Make Government Better, Democracy Stronger, and Citizens More Powerful, p. 63.
  6. Tomoko A. Hosaka (April 2008). «Facebook asks users to translate for free». MSNBC. http://www.msnbc.msn.com/id/24205912/ns/technology_and_science-internet/. 
  7. Daren C. Brabham. (2008). "Crowdsourcing as a Model for Problem Solving: An Introduction and Cases", Convergence: The International Journal of Research into New Media Technologies, 14(1), pp. 75-90.
  8. Prpić, J., Jackson, P., & Nguyen, T. (2014). «A Computational Model of Crowds for Collective Intelligence.». Collective Intelligence 2014. MIT Center for Collective Intelligence.. 
  9. Prpić, J & Shukla, P. (2014). «The Contours of Crowd Capability». Proceedings of the 47th Annual Hawaii International Conference on System Sciences, Big Island Hawaii, January 6–9, Computer Society Press, 2014. Best Paper Nomination, |url=http://papers.ssrn.com/sol3/papers.cfm?abstract_id=2324637. 
  10. Prpić, J., Jackson, P., & Nguyen, T. (2014). «Α Computational Model of Crowds for Collective Intelligence.». Collective Intelligence 2014. MIT Center for Collective Intelligence. http://papers.ssrn.com/sol3/papers.cfm?abstract_id=2398206. Ανακτήθηκε στις November 8, 2014. 
  11. Prpić, J, Shukla, P., Roth, Y., and Lemoine, J.F. (2015). «A Geography of Participation in IT-Mediated Crowds.». Proceedings of the Hawaii International Conference on Systems Sciences 2015. http://ssrn.com/abstract=2494537%7C. Ανακτήθηκε στις November 8, 2014. 
  12. Prpić, J, Shukla, P., Kietzmann, J., and McCarthy, I.P. (2015). «2015. How to Work a Crowd: Developing Crowd Capital Through Crowdsourcing.». Business Horizons.. http://www.sciencedirect.com/science/article/pii/S0007681314001438. Ανακτήθηκε στις November 8, 2014. 
  13. Brabham, Daren (2008). [doi:10.1177/1354856507084420 «"Crowdsourcing as a Model for Problem Solving: An Introduction and Cases"»]. Convergence: The International Journal of Research into New Media Technologies 14 (1): 75–90,. doi:10.1177/1354856507084420. 
  14. Winchester, Simon (1999). The Professor and the Madman. New York: HarperPerennial. σελ. 256. ISBN 978-0060839789. 
  15. DeVun, Leah (November 19, 2009). «Looking at how crowds produce and present art». Wired News. 
  16. Howe, Jeff (2008). Crowdsourcing: Why the Power of the Crowd is Driving the Future of Business. New York: Crown Business. σελ. 336. ISBN 0307396215. 
  17. «Amazon Mechanical Turk». https://www.mturk.com/mturk/welcome. 
  18. John C. Tang, Manuel Cebrian, Nicklaus A. Giacobe, Hyun-Woo Kim, Taemie Kim, Douglas "Beaker" Wickert. «Reflecting on the DARPA Red Balloon Challenge». Communications of the ACM. http://cacm.acm.org/magazines/2011/4/106587-reflecting-on-the-darpa-red-balloon-challenge/fulltext. 
  19. «The Johnny Cash Project». http://www.thejohnnycashproject.com/#/about. 
  20. Lanxon, Nate ((January 31, 2011).). "How the Oxford English Dictionary started out like Wikipedia".. 
  21. DeVun, Leah ((November 19, 2009).). «"Looking at how crowds produce and present art.".». Wired News.. 
  22. Doan, A.; Ramarkrishnan, R.; Halevy, A. (2011). [doi:10.1145/1924421.1924442 «"Crowdsourcing Systems on the World Wide Web"»]. Communications of the ACM 54 (4): 86–96. doi:10.1145/1924421.1924442. 
  23. Brabham, Daren C. (2013). Crowdsourcing. Cambridge: MIT Press.. σελ. 168. ISBN 0262518473. 
  24. Χωρίς παράνομες διαφημιστικές πινακίδες
  25. OpenStreetMap
  26. Αναδάσωση της Πάρνηθας
  27. Atenistas, Αθηναίοι στην Πράξη: Ποιοι είμαστε