KI-Systeme, die zur Beurteilung der Bonität oder der Kreditwürdigkeit von Betroffenen verwendet werden, gelten in der neuen KI-Verordnung der EU als „Hochrisiko-Systeme“. „Betroffene“ sind Verbraucher und bestimmte B2B-Kunden. Die Verordnung tritt am 2. August in Kraft; es gelten jedoch verschiedene Übergangsfristen, bis die Pflichten der KI-VO umgesetzt werden müssen. „Die KI-Verordnung basiert ähnlich wie die Datenschutzgrundverordnung (DSGVO) auf einem Risikoansatz. Je höher das Risko, desto mehr Schutzpflichten“, erläutert RAin Stephanie Iraschko-Luscher, Leiterin des Arbeitskreises Datenschutz im BvCM. „Die Bußgelder sind aber höher als bei der DSGVO. Bei Verstößen können bis zu 7 Prozent des weltweiten Umsatzes als Geldzahlung durch die Aufsichtsbehörden fällig werden“, ergänzt Christian Huth, stellvertretender Arbeitskreisleiter. Für die BvCM-Mitglieder, sowohl für die Anbieter von KI-Scoring-Systemen als auch für die Anwender solcher Tools, gibt es jedenfalls einiges zu beachten.
Hochrisiko-Systeme
Hochrisiko-Systeme: Was heißt das konkret? Laut Verordnung gehören dazu KI-Systeme, „die ein hohes Risiko z.B. für die Gesundheit oder Sicherheit natürlicher Personen darstellen.“ Für das Credit Management ist der Aspekt „Zugang zu und Inanspruchnahme von wesentlichen privaten und öffentlichen Diensten und Leistungen“ relevant (Anhang III Nr. 5 der KI-VO). Auf das Credit Management heruntergebrochen bedeutet das: Die Prozesse zum Scoring und der Bonitätsbewertung, die darüber entscheiden, ob ein Kunde einen (Lieferanten-)Kredit erhält oder nicht, fallen unter die neue KI-Verordnung, einhergehend mit den entsprechenden Pflichten.
Für die Dienstleister, die solche KI-basierten Systeme entwickeln und bei Kunden implementieren, gelten sehr weitreichende Pflichten, aber auch die Mitgliedsunternehmen, die solche Software einsetzen, müssen hier bestimmten Anforderungen nachkommen. Wichtiger Hinweis für Anwender: „Wenn sie eine entsprechende Software für ihre eigenen Zwecke customizen, werden sie automatisch zu Anbietern. Das heißt, sie müssen die gleichen strengen Anforderungen erfüllen, wie die Entwickler des Systems“, betont Christian Huth.
Welche gesetzlichen Pflichten?
Für Hochrisiko-KI-Systeme gelten spezifische Anforderungen, beispielsweise an die Qualität der verwendeten Daten, die Genauigkeit, die Robustheit und die Cybersicherheit. Zusätzlich muss es für Hochrisiko-KI-Systeme eine technische Dokumentation, eine Protokollierungsfunktion und ein Risikomanagement geben. Weitere Anforderungen sind Transparenz und menschliche Aufsicht. „Eine weitere wichtige Anforderung, die oft vergessen wird, ist die Durchführung einer Datenschutz-Folgeneinschätzung. Dies ergibt sich aus der DSGVO, die parallel zur KI-VO gilt“, erläutert Stephanie Iraschko-Luscher.
Nicht betroffen von der EU-Verordnung sind übrigens KI-Systeme, die dazu dienen, Reklamationen zu klassifizieren, Bearbeitungsvorschläge zu erstellen oder Vorarbeiten für administrative Tätigkeiten zu leisten. Ebenfalls ausdrücklich ausgenommen sind KI-Systeme, die dazu verwendet werden, Finanzbetrug aufzudecken. Das bedeutet nicht, dass für diese Systeme keine Gesetze gelten. Hier gilt die DSGVO.
Grundsätzlich verboten sind dagegen Systeme zum Social Scoring. „Wenn beispielsweise eine Firma mittels KI die Emotionen ihrer Mitarbeitenden am Arbeitsplatz auswertet, ist das verboten“, so Christian Huth.
Aufsichtsbehörde und Checkliste
Um die Einhaltung der Verordnung zu gewährleisten, ist jedes EU-Land angehalten, eine eigene „Marktüberwachungsbehörde“ einzurichten. Dieser Behörde sind Vorfälle zu melden und bei ihr können sich Betroffene beschweren – genau wie beim Datenschutz.
„Grundsätzlich kann man sagen: Wer sich mit der DSGVO richtig gut auskennt, hat schon einmal die Hälfte in petto“, sagt Stephanie Iraschko-Luscher zum Abschluss. Bei den BvCM-Mitgliedern werden aber sicherlich Fragen zu der neuen Verordnung aufkommen. „Wir werden dazu eine Checkliste erstellen, die bei uns direkt angefordert werden kann“, versprechen die beiden Arbeitskreisleiter.
E-Mail: sekretariat@credit-manager.de
