Fließbandjobs für die Human Cloud

Als Amazon 2005 Mechanical Turk aus der Taufe hob, war das Konzept geradezu futuristisch: ein nahezu unerschöpflicher Arbeitsmarkt schien in Reichweite, der weder an Landesgrenzen noch Tageszeiten gebunden ist. Firmen und Privatpersonen bieten via Mechanical Turk Arbeitsaufträge an: vom Transkribieren einer zehnminütigen Audiodatei bis hin zum Vervollständigen hunderter Business-Adressen - durchwegs Aufgaben, die für Computer äußert schwierig und für Menschen einfach zu lösen sind. Die Erledigung vieler dieser Microtasks nimmt wenige Minuten in Anspruch. Mitmachen kann jeder, der Zugang zum Internet hat. Wer dabei einen bestimmten Kurztext ins Chinesische übersetzt, wird den Arbeitern (Turker) überlassen. Diese bleiben gegenüber den Auftraggebern anonym, von bestimmten Merkmalen wie Erfolgsquoten abgesehen.

Die Realität ist aus Turker-Sicht zumeist ernüchternd. Die meisten HITs (Human Intelligence Tasks) werden mit wenigen Cent entlohnt, nennenswertes Geld lässt sich kaum verdienen. Ein 15-minütiger Arbeitsauftrag, bei dem arabische Dialekte zu bestimmen sind, bringt gerade einmal zehn Dollar-Cent; Wikipedia-Seiten zu festgelegten Themen ausfindig zu machen (Dauer: acht Minuten), wird mit fünf Cent entlohnt. Dass es kaum jemand über einen Stundenlohn von zwei bis drei Dollar schafft, setzt der Arbeitsmoral und damit der Qualität zu.

CloudCrowd
Die Qualität vieler Ergebnisse bei Mechanical Turk hängt auf Auftraggeberseite eng mit der Jobplanung zusammen. Dies geht über die verständliche Formulierung der Aufgaben hinaus. So lassen sich etwa erfüllte Aufträge erneut der Crowd übergeben, damit das Ergebnis von anderen bewertet und die Fehlerquoten verringert werden.

Die Qualitätssicherung erleichtern will das kalifornische Startup CloudCrowd, dessen Software Arbeitsaufträge in kleine Einheiten zerteilt. Arbeitswillige rekrutiert das Unternehmen auf Facebook. Wer dort die CloudCrowd-Applikation installiert, erhält Zugriff auf ein schwarzes Brett mit Jobangeboten. In einer Art Peer Review-Verfahren werden erfüllte Aufgabe überprüft. Wer seine Arbeit möglichst fehlerfrei erledigt, verbessert seine Bewertung. Bei Übersetzungen greift CloudCrowd beispielsweise zuerst auf Software zurück, deren Ergebnis Arbeiter anschließend nach sinnlosen Passagen überfliegen. Wiederum andere feilen an den Formulierungen oder greifen bei Übersetzungsproblemen ein. Je anspruchsvoller die Aufgabe, desto mehr zahlt CloudCrowd.

CrowdFlower
Eingebaute Qualitätssicherung bietet auch CrowdFlower an, ein ebenfalls kalifornisches Unternehmen, das seit 2007 am Markt ist. Gelöste Aufgaben werden hier als vermeintlich ungelöste unter die angebotenen Microtasks gemischt. Macht ein Arbeiter einen Fehler, wird er darauf hingewiesen, ein Vorgehen, das CrowdFlower als „Gold Standard“ ausweist und nach eigenen Angaben die Ergebnisse dramatisch verbessert. Mit mehr als einer halben Million Benutzer zählt CrowdFlower zu den größten Anbietern. Allein im Jänner wurden 10,2 Mio. Aufgaben („judgements“) erledigt.

Microtask
Das finnische Startup Microtask geht bei der Splittung der Aufgaben in kleinere Einheiten noch ein paar Schritte weiter. Die hauseigene Software zerlegt Arbeitsaufträge in derart kleine Häppchen, dass die Erledigung nur noch wenige Sekunden in Anspruch nimmt. Mit dem Slogan „Microtask liebt die Arbeit, die Sie hassen“ werden für Kunden zum Beispiel handschriftliche Notizen digitalisiert oder Sprachmemos in Text umgewandelt. Wer für die Erledigung lieber seine eigenen Mitarbeiter verpflichtet, kann die Software von Microtask lizensieren. Im Gegensatz zu anderen Anbietern verpflichten sich die Finnen gegenüber ihren Auftraggebern zu einem Service Level Agreement.

Für die Arbeiter erinnern dabei nicht nur die Minijobs an Fließbandarbeit: sie können sich bei Microtask auch nicht aussuchen, welche Aufgabe sie als nächste erledigen. Ums Geld alleine geht es nach Ansicht von Chef Ville Miettinen nicht. In einem New York Times-Interview spricht er „Game-ification“ an Anreiz an, die soziale und spielerische Komponente, die etwa auch Wikipedia antreibt. Nur Geld als Lockmittel einzusetzen sei, so Miettinen, von gestern.

Crowdsourcing ohne Grenzen?
In der Wissenschaft wird Mechanical Turk seit längerem für Benutzerstudien verwendet - wenngleich mit unterschiedlich zufriedenstellenden Ergebnissen. Um die Möglichkeiten von Crowdsourcing auszuloten, entwickelten Forscher der US-amerikanischen Carnegie Mellon University die Software CrowdForge, die das Zerteilen von Arbeitsaufträgen und die Koordination der Ergebnisse automatisiert. Ein erster Test, bei dem fünf Wikipedia-Artikel über New York erstellt werden sollten - jeder einzelne wurde von 36 Personen bearbeitet - lieferte ein überraschendes Ergebnis: Die Crowdsourcing-Texte schnitten bei der anschließenden Bewertung gegenüber herkömmlich verfassten (ein Autor) weit besser ab.

Gemeinsam mit den beiden Journalisten MacGregor Campbell und Jim Giles geht das Forscherteam rund um den Computerwissenschafter Niki Kittur nun der Frage nach, ob eine Vielzahl unausgebildeter Arbeiter auch ein Stück Qualitätsjournalismus liefern kann. Ausgangspunkt ist ein wissenschaftliches Paper, aus dem ein Magazinartikel mit 500 Worten entstehen soll. Der gesamte Entstehungsprozess bis hin zum Fact Checking soll automatisiert ablaufen. „Wir füttern einer von Menschen angetriebenen Maschine ein wissenschaftliches Paper und ein paar Tage später wird eine journalistische Arbeit ausgespuckt“, schreibt Giles im begleitenden Blog, „My Boss is a Robot“. Das Ergebnis steht noch aus, doch die Fragestellungen sind klar: ist ein erfolgreiches Ergebnis nur eine Frage von möglichst kleinen und geschickt kalkulierten Arbeitshäppchen? Und macht Crowdsourcing, so Giles, dann auch nicht vor Produktdesign oder medizinische Diagnosen Halt?