Im Auftrag der Stiftung Datenschutz hat das iff die Potentiale von und Herausforderungen durch den Einsatz von Künstlicher Intelligenz (KI) und Algorithmen untersucht. Es sollte analysiert werden, ob sich aus den Diskriminierungsrisiken von KI und Algorithmen neuer Schutzbedarf ergibt und wie die KI und Algorithmen anhand der Ziele des Antidiskriminierungsrechts zu gestalten und einzusetzen sind.
Das Gutachten erörtert zunächst, nach einer Einleitung zu technischen Grundlagen und Quellen des Antidiskriminierungsrechts, den Geltungsbereich des Allgemeinen Gleichbehandlungsgesetzes (AGG). Hierbei hat sich das Gutachten, auf Grund der Relevanz und Häufigkeit von KI bei dem Zugang zu Finanzdienstleistungen sowie der Unterschiedlichkeit bei der Anwendung des AGG in Bezug auf die verschiedenen Finanzdienstleistungen, für die konkretisierenden Beispiele vor allem auf den Bereich der Privatversicherungs- und Verbraucherdarlehensverträge bezogen. Diesen Erläuterungen folgt eine Analyse zu dem Begriff der Diskriminierung aus juristischer (unmittelbar / mittelbar) und ökonomischer (präferenzbedingt / statistisch) Perspektive.
Im Kapitel zu KI-spezifischen Chancen und Risiken hat das Gutachten festgestellt, dass das größte Potential von KI-Systemen in der Beseitigung von präferenzbedingten, unmittelbaren Diskriminierungen liegen. Die Grundvoraussetzung für diesen Nutzeffekt ist dennoch, dass die lernenden Algorithmen und die Trainingsdatensätze der KI-Systeme keine diskriminatorischen Qualitätsdefizite aufweisen. Diese Qualitätsdefizite können aus den persönlichen Abneigungen und Vorurteilen von programmierenden Personen oder aus der inadäquaten Zusammensetzung von Datensätzen entstehen. Insbesondere das Qualitätsdefizit der Trainingsdatensätzen ist auch die grundlegende Ursache für statistische Diskriminierungen, die aus der antidiskriminierungsrechtlicher Perspektive eine neue Herausforderung darstellen.
Die größte Schutzlücke stellt der Nachweis von Diskriminierungen durch die KI-Systeme. Insbesondere für Menschen ohne Fachkenntnisse über KI und Algorithmen ist es unmöglich nachzuvollziehen und daher nachzuweisen, ob und wie der Einsatz von KI-Systemen zu Diskriminierungen führen können. Als Lösungsansatz weist das Gutachten auf die Algorithmen-Audits hin, die bereits in der Literatur vorgeschlagen werden. Da jedoch für solche Audits nicht nur wissenschaftliche und technologische Expertise, sondern auch personelle sowie finanzielle Ressourcen erforderlich sind, wird im Gutachten für das Verbandsklagerecht für die Antidiskriminierungsverbände plädiert.
Für weitere Fragen steht Ihnen Frau Dr. Duygu Damar zur Verfügung.
Foto: RS-Studios – stock.adobe.com