Das Allgemeine Gleichbehandlungsgesetz und der Schutz vor Diskriminierung durch algorithmische Entscheidungssysteme (mit I. Spiecker gen. Döhmann)
Baden-Baden 2023 (Nomos), 114 Druckseiten

zugleich Rechtsgutachten im Auftrag der Antidiskriminierungsstelle des Bundes

Vorgelegt von
Prof. Dr. iur. Indra Spiecker gen. Döhmann, LL.M. (Georgetown Univ.)
Prof. Dr. iur. Emanuel V. Towfigh

Der Einsatz von ADM-Systemen stellt das Antidiskriminierungsrecht, allen voran das Allgemeine Gleichbehandlungsgesetz (AGG), vor Herausforderungen, denen es in seiner jetzigen Ausgestaltung nur bedingt gewachsen ist.

Die Hauptaufgabe dieser Systeme besteht darin, mithilfe statistischer Methoden eine Vielzahl von Korrelationen zu identifizieren, um Beziehungen zwischen Variablen herzustellen. Mit ADM-Systemen wird trotz ihres unumstrittenen Diskriminierungspotenzials die Vorstellung verbunden, objektive und neutrale, von menschlichen Vorurteilen unbeeinflusste sowie effizientere und bessere Entscheidungen treffen zu können, nicht zuletzt deshalb, weil menschliche Fehlleistungen, Vorurteile und kognitive Beschränkungen ausgeschlossen oder wenigstens verringert werden könnten (Abschnitt 1 des Gutachtens).

Der Einsatz solcher Systeme erfasst nahezu alle Bereiche des privaten und öffentlichen Lebens: Preisbildung, Zugang zu und Teilhabe an öffentlichen und privaten Leistungen, Marketing, Vertragsbedingungen, Diagnostik- und Therapieentscheidungen oder Verteilungsentscheidungen bei knappen Ressourcen.

Die Funktionsweise von ADM-Systemen ermöglicht unter anderem Wahrscheinlichkeitsaussagen über Personen. Durch die Zuschreibung von Gruppenmerkmalen werden in großer Zahl automatisierte (Auswahl-)Entscheidungen getroffen oder mithilfe massenhafter Individualisierung Vertragsabschlüsse optimiert, effizienter gestaltet. Unter antidiskriminierungsrechtlichen Gesichtspunkten ist gerade diese Gruppenzuschreibung problematisch.

Diskriminierung durch Statistik ist das Resultat einer mit statistischen Mitteln gewonnenen Zuschreibung von Merkmalen, die auf (tatsächlichen oder angenommenen) Durchschnittswerten einer Gruppe beruhen. Der Bezug auf diese durchschnittlichen Gruppenmerkmale soll über Unsicherheiten bezüglich der individuellen Merkmalsausprägungen einer einzelnen Person hinwegverhelfen. Der einer solchen Einschätzung zugrunde liegende soziale Mechanismus interessiert dabei nicht, eine Kausalität wird nicht behauptet oder nachgewiesen. Dadurch werden (historische) strukturelle Ungleichheiten perpetuiert und neue geschaffen.

Die Qualität der Entscheidung eines ADM-Systems ist wesentlich abhängig von der Menge, Qualität, Modellierung und Bewertung der verwendeten Daten. Dadurch kann das Diskriminierungspotenzial von ADM-Systemen bereits im System selbst angelegt sein. Zudem ist ADM-Systemen Intransparenz in ihrer Funktionsweise inhärent. Die Bestimmung der Verantwortlichkeit für diskriminierende Elemente in ADM-Systemen ist aufgrund der Vielfalt der Beteiligten an ihrer Programmierung, Fortentwicklung, Verwendung und weiteren Nutzung, zum Beispiel in Netzwerkstrukturen und individuell variierten Standardalgorithmen, problematisch. Faktisch können sich die potenziell Verantwortlichen oftmals exkulpieren. Der technologische Fortschritt digitaler Auswertungsmethoden und -technologien setzt dem Teilen, der Weiterverwendung und dem Zusammenführen von großen Datenmengen praktisch keine technischen Grenzen mehr und macht damit diskriminierende Datensätze unkontrollierbar in der Weitergabe und Verwendung. Es kann nicht davon ausgegangen werden, dass Diskriminierung einzelfallspezifisch identifiziert werden kann.

Die größte Herausforderung für einen rechtlich geprägten effektiven Schutz vor Diskriminierung durch ADM-Systeme stellen die Defizite des AGG bei der Rechtsdurchsetzung dar. Diese grundsätzlichen Defizite sind bekannt und zunächst kein spezifisches Problem der Diskriminierung gerade durch ADM-Systeme. Durch die besonders ausgeprägte Macht- und Informationsasymmetrie potenzieren sich diese Wirkungen aber: Unter anderem der häufig anzutreffende Black-Box-Charakter der ADM-Systeme und die Unfähigkeit, von den Entscheidungen auf den Einsatz solcher Systeme und ihre Funktionalitäten zurückzuschließen, machen es für Betroffene praktisch mangels Ressourcen unmöglich, den Ursachen einer Benachteiligung auf die Spur zu kommen (Abschnitt 2 des Gutachtens).

Es fehlen:

• im AGG eindeutige Diskriminierungstatbestände, die auch ADM-System-spezifische Diskriminierungen, insbesondere Gruppendiskriminierungen, erfassen;
• im AGG Auskunfts- und Offenlegungspflichten, die Einblick in die konkreten Funktionsweisen und Daten eines ADM-Systems ermöglichen;
• im AGG effektive Maßnahmen zur inhaltlichen und institutionellen Unterstützung der Betroffenen bei der Detektion und Rechtsverfolgung von potenziellen Fehlerquellen von ADM-Systemen;
• im Entwurf der KI-VO klassische Regelungen effektiver Rechtsdurchsetzung (zum Beispiel Beweislastumkehr, Kausalitätserleichterungen).

Um einen wirkungsvollen Schutz vor Diskriminierung durch ADM-Systeme zu gewährleisten und die unionsrechtswidrigen Defizite der Rechtsdurchsetzung zu überwinden, sollten daher folgende Maßnahmen erwogen werden (Abschnitt 3 des Gutachtens):

• • grundsätzliche Neuausrichtung des AGG in Bezug auf die Rolle der ADS:
    • Einräumung umfassender Auskunfts- und Untersuchungsrechte;
    • Gewährung eigener Klagerechte durch ein Verbandsklagerecht;
    • Errichtung einer unabhängigen Schlichtungsstelle bei der ADS;
  • Einräumung einer Prozessstandschaft für Antidiskriminierungsverbände;
  • Erweiterung der geschützten Merkmale des § 1 AGG um das Merkmal Beziehungen;
  • Ergänzung der Legaldefinition des § 3 Absatz 2 AGG;
  • Erweiterung des Adressatenkreises des Erweiterung des Adressatenkreises des AGG auf die Entwickler*innen und Dienstleister*innen der ADM-Systeme;
  • Anpassungen bei der Auslegung der Beweislastumkehr des § 22 AGG;
  • Inklusion der ADS in den Anwendungsbereich der KI-VO.

Medienecho

• • Amann, »Und dann hat er halt so einen Hitlergruß gezeigt«, Spiegel Online, 30.08.2023
  • Beuth, »KI macht vieles leichter – leider auch Diskriminierung«, Spiegel Online, 30.08.2023
  • Bergt, Der Algorithmus sagt Nein, taz, 30.08.2023
  • Fürstenau, KI-Gutachten: Diskriminierung programmiert?, Deutsche Welle, 30.08.2023 = Germany highlights discrimination risks of AI, Deutsche Welle = Inteligencia artificial: ¿discriminación programada?, Cambio = Deutsche Welle = Alemanha: sistemas de IA alimentam discriminação programada, UOL, Deutsche Welle und Terra = Yapay zekada ayrimcilik tehlikesi, Haberdar, Deutsche Welle und YeniAsya
  • Reuter, Gleichbehandlungsgesetz soll für automatisierte Entscheidungen angepasst werden, Netzpolitik, 30.08.2023
  • Soliak, Vom Algorithmus gedisst, LTO, 31.08.2023
  • Specht, Warnung vor hoher Diskriminierungsgefahr durch Algorithmen, Handelsblatt, 31.08.2023
  • Walter, »In drastischen Fällen können KI und Algorithmen Existenzen und Leben zerstören«, Die Welt, 30.08.2023
  • Antidiskriminierungsbeauftragte will Menschen vor KI-Diskriminierung schützen, aerzteblatt.de, 30.08.2023
  • Ataman warnt vor digitaler Diskriminierung bei zunehmendem Einsatz von KI, TrendyOne = Yahoo Nachrichten = MSN = Unternehmen-Heute, 30.08.2023
  • Ataman: Gesetz soll vor digitaler Diskriminierung schützen, Newstral = Migazin, 30.08.2023
  • Ataman fordert Regulierung beim Einsatz von künstlicher Intelligenz, Focus Online, 30.08.2023
  • Weitere Gefahren durch künstliche Intelligenz? Ataman warnt vor Diskriminierung, Berliner-Zeitung, 30.08.2023
  • Antidiskriminierungsbeauftragte will Schutz vor digitaler Diskriminierung ausweiten, antidiskriminierungsstelle.de, 30.08.2023