Das glaube ich nicht
Wir sind es längst gewohnt, dass Algorithmen unseren Alltag beeinflussen: Sie schlagen uns im Internet Produkte oder Musikstücke auf Basis unserer bisherigen Entscheidungen vor, steuern die Werbung, die für uns auf Websites eingeblendet wird und prüfen inzwischen sogar schon bei Krankenkassen, Versicherungen und Banken unsere Daten und Anträge. Was viele aber nicht wissen: Sogar im Justizwesen leisten inzwischen künstliche Intelligenzen ihren Dienst. “Im Rechtssystem werden Algorithmen eingesetzt, um vorherzusagen, an welchen Orten Verbrechen verübt werden, wer mit hohem Risiko zu Gewaltverbrechen neigt oder wer nach abgesessener Strafe am ehesten rückfällig werden wird”, berichten Julia Dressel und Hany Farid vom Dartmouth College in den USA. Eines dieser Systeme, das von der Firma Northpointe lancierte COMPAS oder Equivant, habe auf diese Weise bereits mehr als eine Million Straftäter bewertet.
Nur in 65 Prozent der Fälle richtig
Der COMPAS-Algorithmus wird seit dem Jahr 2000 auch zur Vorhersage der Rückfall-Wahrscheinlichkeit von Kriminellen eingesetzt. Dafür berücksichtigt das System laut Angaben des Unternehmens 137 Merkmale der betreffenden Person. Eine erste Auswertung, basierend auf 700 Straftätern, die zwischen 2013 und 2014 in Florida verhaftet worden waren, ergab allerdings wenig ermutigendes Bild: Die Software lag nur bei rund 65 Prozent seiner Vorhersagen richtig – und zeigte zudem eine eklatante Ungleichbehandlung von Weißen und Schwarzen, wie die Forscher berichten. Obwohl der Algorithmus keine Daten über die Rassenzugehörigkeit der Angeklagten erhielt, sagte er bei Schwarzen doppelt so oft fälschlich einen Rückfall in die Kriminalität voraus. “Das weckt die Frage, ob diese Algorithmen überhaupt besser sind als ungeübte Laien, wenn es um eine faire und genaue Vorhersage dieser Art geht”, konstatieren Dressel und Farid.
Um das zu testen, erstellten die Forscher für die Angeklagten von 1000 Fällen, die COMPAS zuvor bewertet hatte, kurze, nur rund drei Sätze umfassende Beschreibungen. Diese nannten Alter und Geschlecht der Angeklagten, wessen sie aktuell angeklagt werden und für wie viele Straftaten sie zuvor schon verurteilt worden waren. Jeder der rund 400 Teilnehmer bekam 20 zufällig ausgewählte Dossiers und sollte für jeden Fall die Frage beantworten: “Glauben Sie, dass dieser Straftäter in den nächsten zwei Jahren eine weitere Straftat verüben wird?”
Genauso gut wie die Software
Das Ergebnis: Obwohl ihre Einschätzungen auf nur wenigen Angaben zu den Tätern beruhten, tippten die Studienteilnehmer in knapp 63 Prozent der Fälle richtig. Wurden ihre Entscheidungen zusammengenommen ausgewertet – weil viele Teilnehmer die gleichen Fälle erhalten hatten – lagen sie sogar in 67 Prozent der Fälle richtig, wie die Forscher berichten. “Damit ist eine kleine Gruppe von Nichtexperten bei der Prognose der Rückfallwahrscheinlichkeit genauso treffsicher wie COMPAS – obwohl sie nur sieben Merkmale statt 137 bekommen hatten”, konstatieren die Forscher. Ausgehend von diesem Ergebnis gingen sie anschließen sogar noch einen Schritt weiter: Sie wiederholten das Experiment mit nur noch zwei Angaben pro Fall: dem Alter des Angeklagten und der Zahl seiner bisherigen Verurteilungen. Das überraschende Ergebnis: Auch hier erreichten die Teilnehmer eine Treffsicherheit von knapp 67 Prozent. Interessant auch: In Bezug auf die – nicht genannte – Rassenzugehörigkeit der Straftäter entschieden die menschlichen Entscheider zumindest etwas weniger einseitig als die Software.
“Behauptungen, nach denen fortgeschrittene und nach geheim gehaltenen Regeln agierende Datentools genauer und fairer entscheiden sollen als Menschen, werden durch unsere Ergebnisse nicht bestätigt”, sagt Dressel. “Es ist beunruhigend, dass bei diesen für die Betroffenen lebensverändernden Entscheidungen ein Computerprogramm nicht besser abschneidet als ungeübte Internetnutzer”, ergänzt Farid. Und dies sei nicht auf das Beispiel COMPAS beschränkt. Wie die Forscher berichten, hat vor Kurzem eine Bewertung von neun verschiedenen algorithmischen Systemen zur Vorhersage der Rückfall-Wahrscheinlichkeit ergeben, dass acht davon keine sonderlich hohe Treffsicherheit besaßen.
Nach Ansicht der Wissenschaftler wirft dies kein gutes Licht auf Algorithmen als Justizhelfer. “Der Einsatz von Software zur Rückfallprognose in Gerichtssälen sollte grundsätzlich in Frage gestellt werden”, meint Dressel. Denn die Entscheidung der Algorithmen sei offensichtlich nicht treffsicherer als die einer Gruppe ungeübter Laien. “Diese Ergebnisse wecken erhebliche Zweifel an dem ganzen Ansatz, Algorithmen zur Rückfallprognose bei Straftätern einzusetzen”, so Dressel und Farid.
