KI: Interpretierbare Systeme versus Black Box

Künstliche Intelligenz ist aus dem modernen Credit Management nicht mehr wegzudenken. Es gibt aber entscheidende Unterschiede zwischen interpretierbaren Systemen und sogenannten „Black Box“-Lösungen. Worum es dabei geht und was das für Credit Manager bedeutet, erläutern Prof. Dr. Florian Artinger und Henri Läpple von Simply Rational in diesem Beitrag.

Es ist Freitagnachmittag, vor Ihnen liegt der letzte Kreditantrag, den Sie diese Woche bearbeiten. Es geht um eine junge, berufstätige Frau, die sich ein Teilzeitstudium finanzieren möchte. Die Frau wurde beim Ausfüllen ihres Antrags darum gebeten, eine Vielzahl an Informationen von sich zu teilen, von persönlichen Daten über Einkommensnachweise bis hin zu verschiedensten Verträgen. Diese sind wichtig – eine Künstlichen Intelligenz (KI) kann die Informationen innerhalb von Sekunden auswerten und Ihnen eine Kreditempfehlung liefern. Darauf aufbauend machen Sie sich nun daran, eine finale Entscheidung zu treffen.

Das Problem ist nur: Dieser augenscheinlich zuverlässigen und solventen Frau wird der Kredit von der KI verwehrt. Weder die Kundin noch Sie wissen, wie diese Entscheidung getroffen wurde. Liegt es an einer unbezahlten Rechnung von vor zehn Jahren? Am häufigen Wechsel ihres Wohnorts? Oder gar an ihrem ungewöhnlichen Nachnamen?

Sie müssten all die Zeit und Arbeit, die Ihnen die KI erspart hat, wieder investieren, um es herauszufinden, und selbst dann würde die Black Box Ihnen ihre inneren Prozesse nicht preisgeben. So bleibt es also bei der Ablehnung des Kredits, und sowohl Sie als auch die Kundin gehen ratlos ihrer Wege, beide mit einem unterschwelligen Ohnmachtsgefühl.

Die Rolle der KI im Credit Management

Zum Glück gibt es nicht nur die sogenannten Black Box KIs, die größtmögliche Mengen an Datenpunkten auf eine dem Menschen völlig uneinsichtige Weise analysieren. Ein gänzlich neuer Ansatz in der KI-Forschung zeigt, wie interpretierbare KI den Menschen in den Entscheidungsprozess einbinden kann, um optimale Ergebnisse zu erzielen. Unternehmen wie die Max-Planck Ausgründung Simply Rational haben dies bereits früh entdeckt und bieten Lösungen mit interpretierbarer KI in verschiedensten Bereichen an.
Zunächst einmal steht die Nützlichkeit und Optimierbarkeit des Ergebnisses im Vordergrund. Eine Black Box mag zwar häufig das richtige Ergebnis liefern, aber in den Fällen, in denen sie es nicht tut, gibt es keine Möglichkeit der gezielten Verbesserung. Es ist nicht einmal sinnvoll, einen Mitarbeiter die jeweilige Entscheidung noch mit eigenen Informationen und Einschätzungen ergänzen zu lassen, denn das würde völlig die KI-interne Gewichtung der einzelnen Faktoren missachten. Gleichzeitig setzt dies voraus, dass die KI eine gute Datengrundlage nutzen kann. Dies ist häufig jedoch nicht gegeben.

Wirklich problematisch kann dies werden, wenn systematisch aufgrund gewisser Informationen diskriminiert wird. Ein Unternehmen kann zum Beispiel Datensets einkaufen, um eine eigene KI daran zu trainieren, die automatisch über den Umgang mit Schuldnern entscheidet. Wenn diese Datensets aber überwiegend aus Personen einer gewissen Nationalität bestehen, dann könnte das resultierende Modell gegen Schuldner mit anderen Nationalitäten diskriminieren. Bei einer Black Box kann dies nicht durch das einfache Weglassen dieser konkreten Information verhindert werden, denn die KI kann sich entsprechende Muster trotzdem aus den restlichen Informationen wie Lebensläufen oder Einkommensnachweisen ableiten. Amazon zum Beispiel nutzte für eine Weile eine KI, um die Vielzahl an Bewerbungen auszuwerten, die das Unternehmen bekommt. Es stellte sich jedoch schnell heraus, dass die KI systemisch hochqualifizierte Frauen vernachlässigte, da Frauen in den Trainingsdaten der KI stark unterrepräsentiert waren.

Interpretierbare KI setzt hier auf das „Weniger-ist-mehr“-Prinzip. Oft genügt eine geschickte Verrechnung der wichtigsten Faktoren, um Entscheidungen mit ähnlicher Präzision zu treffen. Der große Vorteil: Der Mensch wird wieder in den Entscheidungsprozess eingebunden und kann seine eigenen Erfahrungen mit einfließen lassen. Dies stärkt Vertrauen und Verständnis auf beiden Seiten der Entscheidung. Außerdem kann das System jederzeit gezielt angepasst werden, um sich verändernden Umständen gerecht zu werden. Credit Manager müssen dann nicht wie im oben genannten Szenario die Entscheidung der KI blind annehmen oder verwerfen, sondern können die Validität des Ergebnisses selbst einschätzen und auch bei zukünftigen Verbesserungen des Algorithmus mitwirken.

Interpretierbare KI in Aktion

Büßt eine interpretierbare KI aufgrund ihrer Simplizität zwingend an Leistungsfähigkeit ein? Die Antwort ist in den meisten Fällen ein klares Nein!

Einen direkten Vergleich von komplexer Black Box und interpretierbarer KI bietet eine Studie aus den USA. Forscher haben verglichen, wie Richter bei der Entscheidung unterstützt werden können, Angeklagte vor der Verhandlung mit oder ohne Kaution freizulassen. Eine Black Box, die 64 Variablen komplex miteinander verrechnet, verbesserte die Vorhersagen der Richter, welche der Angeklagten ohne Kaution zur Verhandlung erscheinen würden. Ein simples KI-basiertes Punktesystem, basierend auf den wichtigsten Prädiktoren und für die Richter einfach selbst auszurechnen, führte jedoch zu einer identischen Verbesserung.

Im Credit Management gibt es natürlich viele KI-Anwendungen, die über binäre Entscheidungen wie die Vergabe oder Nicht-Vergabe eines Kredites hinausgehen. Doch gerade bei diffuseren Aufgabenbereichen ist es wichtig, den Menschen weiterhin in die analytischen Prozesse einzubinden. Dies geschieht bereits bei vielen KI-Newcomern der letzten Jahre.

Eine für Maschinen besonders komplexe Aufgabe übernimmt zum Beispiel die Software von Deep Neuron Lab. Diese Ausgründung der TU Berlin hat eine KI entwickelt, die Geschäftsberichte und andere Textdokumente auswerten kann, um bei der Kreditvergabe zu assistieren. Sprache statt reiner Zahlen zu analysieren, ist ein weiterer Schritt von KI, dem Menschen zeitaufwändiges und zermürbendes Scannen von Akten zu ersparen. Der Clou: Trotz der beeindruckenden Leistung sollen die Analysen von Deep Neuron Lab für den Benutzer komplett nachvollziehbar sein.

Hürden und Chancen

Auch wenn eine KI die Daten für den Menschen analysieren und Entscheidungen vorschlagen kann, ist das Unternehmen letztendlich dafür verantwortlich, die Datengrundlage dafür zu schaffen und für das Endresultat zu haften. Gerade finanzielle Institutionen wie im Credit Management müssen häufig ihre internen Prozesse offenlegen, was im Falle einer ungewollt diskriminierenden KI ernsthafte Konsequenzen nach sich ziehen kann.

Dies ist einer der Gründe, warum ein Mangel an Transparenz eine Hürde für die großflächige Implementierung von KI im Finanzwesen darstellt. Eine Umfrage der Hochschule Köln und PwC zeigt, dass fast ein Drittel der befragten Finanzdienstleister Transparenzmangel von Black Box KIs als Grund dafür sieht, dass KIs nicht mehr Anwendung finden. Um dieses Problem zu lösen, braucht es mehr Umdenken in Richtung interpretierbarer KI, was indirekt auch anderen in der Umfrage genannten Schwierigkeiten entgegenkommen würde, wie zum Beispiel Datenmangel und hohen Kosten.

Die große Chance besteht letztendlich aus der Synergie von Mensch und Maschine. KIs werden langfristig immer mehr Aufgaben übernehmen müssen, um den wachsenden Datenströmen und der Nachfrage nach schnelleren und reibungsloseren Interaktionen gerecht zu werden. Allerdings kann nur diejenige KI auf Dauer ethische, effiziente und gezielt optimierbare Ergebnisse liefern, die durch ihre Interpretierbarkeit dem Menschen als Werkzeug dient, anstatt ihn zu ersetzen.

Autoren
Henri Läpple, Junior Consultant bei der Simply Rational GmbH.

Prof. Dr. Florian Artinger, Mitgründer und Geschäftsführer der Simply Rational GmbH, Professor für Digital Business an der Berlin International University of Applied Sciences und assoziierter Wissenschaftler am Max-Planck-Institut für Bildungsforschung.