Erklärbare KI

Explainable AI (XAI) – Geht das? Und wenn ja, wie?

Künstliche Intelligenz (KI) wird als eine der entscheidenden Technologien der Zukunft angesehen. Ihre Nutzung erfolgt bereits in vielen Bereichen wie im Onlineshopping, oder in der Roboter- oder Klimatechnik. KI beinhaltet diverse Technologien, doch das Ziel besteht stets darin, Maschinen zu befähigen, mit menschenähnlicher Intelligenz zu lernen, zu verstehen und zu handeln. Eine zentrale Herausforderung für die breite Adaption und Akzeptanz von KI ist die zurzeit geringe Nachvollziehbarkeit der getroffenen Entscheidungen. Um dieses Problem zu lösen, gibt es erste Ansätze der Explainable AI (XAI).

Was ist Explainable AI (XAI)?

XAI ist noch ein junges Forschungsfeld. Es existiert noch keine klare Definition. IBM definiert XAI als „set of processes and methods that allows human users to comprehend and trust the results and output created by machine learning algorithms.“ (https://ibm.co/3TY1XNo)

Explainable AI (XAI) fördert die Erklärbarkeit eines KI-Systems, indem es kritisch die Fragen nach dem Wie und Warum eines KI-Modells zu beantworten versucht. Diese Notwendigkeit schauen wir uns nun an.

KI ist ein Teilgebiet der Informatik, die durch programmierte Abläufe oder maschinelles Lernen (ML) die maschinelle Intelligenz generiert. In den letzten Jahren wurden vor allem im Bereich des maschinellen Lernens große Fortschritte erzielt. Dies liegt an der verbesserten Verfügbarkeit von großen Datenmengen und hoher Rechenperformance, die eine Grundvoraussetzung für die komplexen Berechnungen bei ML darstellen. In diesen Verfahren erlernt der Computer durch iterative Berechnungen, selbstständig eine Aufgabe zu erfüllen. Er orientiert sich hierzu an einem vorgegebenem Gütekriterium. So erhält z. B. ein selbstständig fahrendes Auto nur Informationen zu einer vorgegebenen Strecke. Wie diese absolviert wird, lernt es nur durch wiederholtes Ausprobieren und Feedback zu erfolgreichen Versuchen.

Der ML-Bereich umfasst eine Vielzahl von Techniken, darunter das überwachte Lernen (Supervised Learning), das in den häufigsten KI Anwendungen angewandt wird. Ein Beispiel dafür ist die Klassifizierung von E-Mails in Spam oder Nicht-Spam. Durch die überwiegende Anwendung dieser Technik wird KI in der Geschäftspraxis meistens synonym zu Machine Learning verwendet.

Ein großer Vorteil der KI ist, dass sie Prognosen verbilligt. KI macht Vorhersagen für die Zukunft. Sie kann Millionen von Bildern nach Anzeichen von Hautkrebs durchsuchen. KI kann für Simulationen von Warenströmen verwendet werden. KI kann individuelle Produktempfehlungen unter einer Vielzahl von Produkten geben.

Diese Kompetenz ist für die Entwicklung komplexer Systeme geeignet. KI-Systeme assistieren bei der Erhaltung der Gesundheit von Millionen von Menschen. KI-Systeme können helfen, den Warenverkehr in einer Fabrik radikal zu verbessern. Mittels KI-Systeme sind wir in der Lage, die Entwicklung berechenbarer Dinge besser vorhersehen zu können.

Anwendungsbeispiel Kreditinstitut

Betrachten wir als ein Beispiel ein großes Kreditinstitut, in dem überwiegend viele hohe Kreditverträge abgeschlossen werden. Bei der Entscheidung zur Vergabe ziehen die Mitarbeiter und Mitarbeiterinnen ähnliche Fälle hinzu. Jedoch können sie aufgrund der Vielzahl an Anträgen nur wenige Vergleichsfälle sichten. Die Leitung des Instituts will den Angestellten ihre Arbeit erleichtern, indem Data Scientisten ein KI-Modell zur Kreditvergabe entwickeln. Damit soll der Entscheidungsfindungsprozess der Angestellten vereinfacht werden. Das KI-Modell soll alle bisherigen Kreditvergabefälle berücksichtigen und auf deren Basis eine Prognose erstellen. Zudem sollen die Angestellten mit dem Modell verschiedene (mögliche) Entwicklungen in der Zukunft (wie Zinserhöhungen) simulieren können. Nach der erfolgreichen Entwicklung des Modells stehen die Angestellten dem System jedoch kritisch gegenüber, da es ihnen lediglich ein Ja oder Nein zur Kreditvergabe als Antwort gibt.

Dieses hypothetische Beispiel, das auf einer realen Studie aus McKinsey’s The State of AI in 2020 basiert, zeigt die herausragende Bedeutung von Erklärbarkeit in der KI-Welt. In einem KI-Modell sind die Ausgangsdaten als Input für das Modell bekannt und das Modell gibt ein Ergebnis aus. Jedoch bleibt das Zustandekommen des Ergebnisses im Verborgenen. Aus diesem Grund stellen KI-Modelle eine Black-Box für den Anwender dar, so dass eine Nachvollziehbarkeit der Entscheidungsfindung nicht gegeben ist und Nutzende dem Modell nicht vertrauen. In der McKinsey Studie erhöhte sich die Akzeptanz des KI-Modells, sobald die Erklärbarkeit des Systems verbessert wurde.

Mittels XAI Erklärungen nach dem Wie und Warum eines Modells kann dessen Erklärbarkeit gesteigert werden. Darüber hinaus kann XAI sogar einen Eindruck geben, wie Algorithmen sich bei geänderten zukünftigen Rahmenbedingungen (wie Änderungen in der Altersverteilung) verhalten können. Diesen Fragen stellen sich z. B. in den Bereichen Corporate Governance und Regulationen, und weisen viele rechtliche, soziale und ethische Implikationen auf. Einen bedeutenden rechtlichen Einfluss beinhaltet der EU-ACT, in dem die Europäische Union rechtliche Rahmenbedingungen für die KI-Nutzung setzt. Es ist das erste Gesetz weltweit, mit dem KI in allen Lebensbereichen reguliert werden soll. Nach diesem soll die KI „robust und ethisch“ sein.

XAI stellt die ML-Ergebnisse in verständlicher Weise für den Nutzenden in Form von Erklärungen dar. Es werden zwei Arten von Erklärungen unterschieden: Lokale Erklärungen liefern spezifische Vorhersagen des KI-Modells, d. h. es wird das Ergebnis für eine einzelne Beobachtung erläutert. Globale Erklärungen geben unter Berücksichtigung aller Beobachtungen Erklärungen für das Verhalten des gesamten KI-Modells.

Damit Nutzende die Ergebnisse des XAI-Prozesses verständlich nachvollziehen können, bietet sich deren Visualisierung in einem User Interface an. Dies ist Gegenstand von Explainable User Interface (XUI). Chromik/ Butz (2021) definieren XUI „as the sum of outputs of an XAI process that the user can directly interact with“. 

Anwendungsbeispiel Radiologie

Gegenstand der Analyse sind in diesem Bereich Röntgenbilder von Patienten und Patientinnen. Ein generiertes KI-Modell auf Basis einer großen Menge an Röntgenbildern assistiert dem Radiologen bei der Diagnose. Es liefert dem Radiologen eine (globale) Erklärung zur generellen Funktionsweise des Modells. Ein Patient/eine Patientin fordert hingegen eine individuelle (lokale) Erklärung für die Diagnose des Radiologen.

An diesem Beispiel zeigt sich, dass unterschiedliche Stakeholder in Form von Ärzten, Verbänden und Patienten existieren, die unterschiedliche Fragestellungen an ein KI-System haben. In Deutschland bietet die Ärztekammer den Ärzten Unterstützung bei der Nutzung von KI-Systemen, indem es den Ärzten Hintergrundinformationen zu Möglichkeiten, Risiken und Limitationen liefert. Eine verlässliche Modellbeurteilung setzt ein Verständnis des gesamten KI-Systems voraus. Die Notwendigkeit des Supports wird durch EU Pläne verstärkt, Klagen von KI-Opfern zu erleichtern (https://bit.ly/3SlGywJ).

Anwendungsbeispiel Empfehlungsdienste

Empfehlungsdienste sind Online-Systeme, die Internetnutzern auf Grundlage vorheriger Nutzeranfragen für sie interessante Produkte oder Dienste vorschlagen. Diese Systeme werden in unterschiedlichen Bereichen wie E-Commerce oder Werbung eingesetzt.
Ein Beispiel sind die Empfehlungen für eine Produktsuche auf einer E-Commerce-Seite. Der Kunde sucht nach einem hochwertigen Produkt wie eine Digitalkamera. Die angezeigte Webseite enthält eine empfohlene Kamera und weitere Produkteigenschaften wie Preis, Bildschirmgröße oder optischen Zoom.

Quelle: http://www.comp.hkbu.edu.hk/~lichen/download/p17-chen.pdf

Als weiteres Beispiel dient ein universitäres Forschungsprojekt zu Liedempfehlungen, bei dem ein KI-Modell dem Nutzer/der Nutzerin interessante Lieder empfiehlt. Wiederum fehlen individuelle Erklärungen der verschiedenen Empfehlungen. In dem Experiment entwickelte das Forscherteam ein User Interface, das erläuterte, wie sich die Empfehlungen durch Änderungen der Liedpräferenzen ändern. Dies resultierte ebenfalls in einer höheren Akzeptanz seitens der Nutzenden.
In dem unten dargestellten User Interface stellt die linke Seite das Nutzerprofil dar, z. B. die gelikten Lieder bei Facebook. Die mittlere Spalte zeigt die verschiedenen Quellen, auf denen eine Liedempfehlung basiert. Ergebnisse der Empfehlungen präsentiert die dritte Spalte. Je nach Einstellungen ändern sich die Liedempfehlungen, der Nutzer/die Nutzerin sieht diese und kann sie durch die transparente Quellendarstellung nachvollziehen.

Quelle: https://sites.cs.ucsb.edu/~holl/pubs/Bostandjiev-2012-RecSys.pdf

Anwendungsbeispiel Autonomes Fahren

In Deutschland fahren seit Kurzem die ersten autonomen Fahrzeuge. So fährt in Nürnberg eine S-Bahn autonom, in Hamburg fuhr ein Bus mit 25 km/h im Testlauf 2020 durch die HafenCity. Ein spezieller Bereich des autonomen Fahrens ist der Einsatz an Orten, an denen es für Menschen zu gefährlich ist. Als Beispiele ist der Energiesektor oder das Militär zu nennen. In diesen Hochrisikoeinsätzen weisen die autonom fahrenden Fahrzeuge einen hohen Grad der Eigenständigkeit auf und sind deshalb gezwungen, ihr Handeln zu begründen.

In einem Forschungsprojekt der britischen Marine entwickelte diese einen Chat-Agenten (als XUI-Erklärung) für ein Unterwasserfahrzeug, mit dem Nutzende interagieren, um die Entscheidungen des autonomen Fahrzeugs nachvollziehen zu können. In dem unten gezeigten Chatbeispiel zeigt (A) eine Angabe der wahrscheinlichen Gründe, warum das Fahrzeug ein Verhalten zeigen könnte, und (B) eine Erklärung des allgemeinen Verhaltens.

Quelle: https://pure.hw.ac.uk/ws/portalfiles/portal/24360720/Robb_DIS2019_ExploringInteractionCaAcceptedManuscript.pdf

Herausforderungen und Ausblick

In der jungen XAI-Forschung fehlt der Konsens bzgl. einer Definition von XAI und Erklärbarkeit. Einige Forschende fokussieren sich dabei auf Visualisierungsmethoden, wohingegen andere das Konzept der Wichtigkeit einzelner Inputfaktoren betonen. Ein Grund für eine fehlende Standarddefinition liegt an den heterogenen Nutzern. So nutzen z. B. ein AI-Forscher und ein Domänenexperte die ML-Techniken mit jeweils eigenen Zielen und benötigen dafür unterschiedliche Abstraktionslevel.

Eine der Herausforderungen für XAI besteht in fehlenden Evaluationsmetriken der Erklärungen. In vielen statistischen Anwendungen existieren verschiedene, etablierte Maßzahlen für diverse Methoden, um die Güte eines Modells bewerten zu können. Für XAI hingegen fehlt eine Maßzahl für die Beurteilung der „Erklärbarkeit“ eines Modells. Zudem ermöglicht ein Benchmarking den Vergleich der XAI-Methoden bei verschiedenen Anwendungen.

Eine weitere Herausforderung betrifft die Informationssicherheit eines Modells. Die Anwendung von XAI-Techniken zur Erklärbarkeit eines ML-Modells kann die Vertraulichkeit dieses Modells gefährden. So könnte jede Information eines Modells, die durch XAI-Erklärungen enthüllt wird, genutzt werden, um das Modell durch Angriffe zu verwirren. Diese Attacken können das Modell manipulieren und zu einem anderen Ergebnis führen.

Das Interesse an XAI steigerte sich in den letzten Jahren, um KI-Modelle verständlicher zu machen. Getrieben von der EU Forderung nach erklärbaren KI-Modellen wird es zukünftig weitere spannende Entwicklungen geben.

Artikel von:
Andreas Grosser, Cassini Consulting
Andreas Grosser
Senior Consultant