Ansätze zur Überwindung von algorithmischer Voreingenommenheit

Die Formen der Diskriminierung kann man nach ihren Ursachen in etwa drei Bereiche einordnen:

1. Beschaffenheit der Daten, die als Input für die Systeme verwendet werden,
2. technische Ausgestaltung der Systeme,
3. unvorhersehbare Anwendung der Systeme.

1. Systeme automatisierter Entscheidungsfindung (Automated Decision Making, oder auch ADM) basieren in der Regel auf dem Prinzip des maschinellen Lernens. Dabei wird ein Algorithmus an großen Datenmengen, die im realen Nutzungskontext erhoben wurden, optimiert bzw. “trainiert”. Sind die erhobenen Daten voller menschlicher Vorurteile, dann wird auch das ADM-System diese bereits existierenden Vorurteile mit höchster Wahrscheinlichkeit auch reproduzieren. So zum Beispiel musste ein System zur Unterstützung des Recruitings bei einem großen Unternehmen eingestellt werden, weil Frauen dadurch als schlechtere Kandidatinnen bewertet wurden. Der Grund dafür war, dass der Algorithmus mit Daten trainiert wurde, die die tatsächlich vorhandene Glasdecke abbildeten. Weil Männer wesentlich häufiger in Führungspositionen sind, wurde das Geschlecht der weiblichen Bewerberinnen trotz der unternehmensintern auferlegten Gleichstellungsziele als negativ gewertet. 

2. Die technische Ausgestaltung der ADM-Systeme spielt dabei auch eine wichtige Rolle. Wenn z. B. Zufallsgeneratoren über die Auswahl der sonst gleich qualifizierten Bewerbungen für Mietwohnungen entscheiden, sie aber nicht ganz zufällig funktionieren, dann ist das eine fest programmierte Diskriminierungsfalle. Ähnlich verhält es sich mit der “neutralen” alphabetischen Sortierung von Suchergebnissen oder Namen, etwa bei der automatischen Zuweisung von den nächstgelegenen Mietwagen in einer App. Wer zuerst kommt, mahlt zuerst, mag für die meisten jungen gesunden Menschen funktionieren, die Berücksichtigung von weiteren Kontextinformationen, wie z. B. „eine Seniorin mit gebrochenem Bein sucht einen Mietwagen, um zur Reha zu fahren“, würde für eine viel größere Fairness sorgen.

3. Auch die Nutzung von ADM-Systemen kann Diskriminierung hervorbringen. Die wohl bekanntesten Fälle treten auf, wenn die Daten, die ein Algorithmus sammelt, zu realen Handlungen führen, die wiederum in das ADM-System eingespeist werden. So entstehen sogenannte Feedback Loops, die Ungleichheit fördern. Das prominenteste Beispiel solcher Feedback Loops sind Filterblasen, die bei der Nutzung von Empfehlungssystemen entstehen. Wenn Nutzer auf Inhalte gehen, die ihnen algorithmisch durch die Auswertung ihres vergangenen Medienkonsumverhaltens vorgeschlagen wurden, hat das Auswirkungen auf die nächsten Vorschläge. Damit schärft sich automatisch ihr Profil, was wiederum dazu führt, dass ihnen sonst wichtige Informationen jenseits ihrer Filterblase vorenthalten bleiben. Werden solche Feedback Loops zu personalisierten Produktempfehlungen eingesetzt, können sie unvorhergesehen zur systematischen Preisdiskriminierung führen.

Solche Beispiele zeigen, dass die algorithmische Voreingenommenheit kein bloßer Nebenschauplatz der Digitalisierung ist. Überall, wo Algorithmen als Akteure an Entscheidungsprozessen beteiligt sind, muss das Problem deren Voreingenommenheit proaktiv angegangen werden. Denn die “Objektivität” der Algorithmen kann jede und jeden von uns zu den Diskriminierten machen.

1. Wo die Gefahr ist, wächst das Rettende auch, so das Wort des Klassikers. Wenn KI Voreingenommenheit hervorbringen kann, dann spricht grundsätzlich nichts dagegen, dass sie auch zu ihrer Aufdeckung verwendet wird. So ist die algorithmische Überprüfung (etwa durch eine Simulation) und Überwachung (z. B. in Form eines Detektors für Stellenanzeigen, die die Gleichstellung von Frauen und Männern unterlaufen) der Systeme automatisierter Entscheidungsfindung inzwischen ein sich schnell entwickelndes Feld, welches die Arbeit der Gleichstellungs- und Diversitätsbeauftragten in Unternehmen und der öffentlichen Verwaltung in absehbarer Zukunft spürbar verändern wird.
2. Trotz oder gerade wegen der voranschreitenden Algorithmisierung kann eine intensivere Einbeziehung des menschlichen Faktors, insbesondere bei der Gestaltung und Überwachung von ADM-Systemen zur Abhilfe führen. Dabei geht es nicht nur um die Sicherstellung der Diversität von Entwicklerteams, sondern auch um den Entwurf und die Umsetzung von wirkungsvollen selbstregulatorischen Praktiken z. B. in Form einer wie auch immer gearteten “Voreingenommenheitsfolgenabschätzung” (bias impact statement), die den aktuell praktizierten Ansatz des Gendermainstreamings in die Realität der ADM-Systeme übersetzt.
3. Wie die Erfahrungen aus der Umsetzung der IT-Barrierefreiheit zeigen, ist eine nachträgliche Änderung von komplexen IT-Systemen – wenn überhaupt – meistens nur mit einem sehr hohen finanziellen und zeitlichen Aufwand verbunden. Eine Antwort darauf ist die systematische Befolgung von bestimmten Gestaltungsprinzipien. Die beste Lösung eines Problems ist, es gar nicht erst entstehen zu lassen. Eine bewährte Vorgehensweise ist dabei heißt Diversity by Design. Anstatt später festgestellte Diskriminierung zu bekämpfen, werden von vornherein formulierte positive Gleichbehandlungs-, Diversitäts- und Gleichstellungsziele in das Design der Algorithmen hineinprogrammiert.
4. Trotz des gestiegenen Bewusstseins für die Problematik der algorithmischen Voreingenommenheit bei den Betreibern der Systeme automatisierter Entscheidungsfindung und der laufenden Bemühungen der Gesetzgeber, die algorithmische Diskriminierung sinnvoll zu beschränken, liegt die Verantwortung für deren Überwindung auch bei denen, die die Systeme nutzen. Die Geschwindigkeit, mit der die Durchdringung des Alltags durch diese Systeme vonstattenging und auch weiterhin vonstattengeht, mag viele überrascht haben. Auch deswegen mangelt es an Wissen über die Funktionsweise von ADM-Systemen, sowie über ihre Effekte aus der Sicht der Nutzerinnen und Nutzer. Eines der wichtigsten Ziele wäre also, den Grad der algorithmischen Alphabetisierung zeitnah deutlich zu erhöhen.