Lücken und politische Maßnahmen im Bereich von Diskriminierung aufgrund von KI und Algorithmen in Europa

Was sind die großen Herausforderungen, die bei der Bekämpfung von Diskriminierung aufgrund künstlicher Intelligenz und automatisierter Entscheidungssysteme zu bewältigen sind? Wie kann der Steuerungsrahmen gestärkt werden? Welche Rolle können Behörden, Gleichstellungsstellen und Menschenrechtsinstitutionen bei der Verhütung von Diskriminierung und der Wiedergutmachung von Schäden spielen?

Diese Fragen standen im Mittelpunkt einer kürzlich vom Europarat organisierten Online-Veranstaltung. Während des Webinars wurden zwei neue Publikationen vorgestellt: Legal protection against algorithmic discrimination in Europe: current frameworks and remaining gaps (Rechtlicher Schutz gegen Diskriminierung durch Algorithmen in Europa: Aktuelle Rahmenbedingungen und verbleibende Lücken) und European policy guidelines on AI and algorithm-driven discrimination for equality bodies and other national human rights structures (Europäische Politikleitlinien zu KI- und algorithmusbedingter Diskriminierung für Gleichstellungsstellen und andere nationale Menschenrechtsstrukturen).

Algorithmische Verzerrungen verschärfen bestehende soziale Ungleichheiten

KI greift zunehmend in alle Aspekte unseres Alltags ein und bringt ernsthafte Bedrohungen für den Schutz der Grundrechte mit sich. Algorithmische Diskriminierung scheint ein besonders besorgniserregendes Problem zu sein. Studien zeigen, dass algorithmische Verzerrungen bestehende soziale Ungleichheiten nicht nur widerspiegeln, sondern verschärfen.

In der Arbeitswelt könnten Auswahlalgorithmen, die anhand von älteren Rekrutierungsdaten trainiert wurden, männliche Bewerber zu Unrecht begünstigen, indem sie frühere Einstellungsentscheidungen reproduzieren, die durch diskriminierende Vorurteile gegenüber Frauen oder Minderheiten verzerrt wurden. Einige Instrumente zur Erstellung von Persönlichkeitsprofilen, die öffentliche Arbeitsvermittlungsstellen als Entscheidungshilfe für die Zuweisung von Ressourcen an Arbeitssuchende verwendeten, wurden bereits als diskriminierend eingestuft. Darüber hinaus werden KI und automatisierte Entscheidungssysteme (ADMS) regelmäßig von Strafverfolgungsbehörden eingesetzt. Studien zeigen jedoch, dass automatische Gesichtserkennungsmethoden diskriminierende Verzerrungen aufweisen oder in einer Weise eingesetzt werden können, die Minderheiten unverhältnismäßig stark ins Visier nimmt und überwacht, wodurch ethnisches Profiling betrieben wird. Bestimmte öffentliche Verwaltungen in Europa setzen zudem KI- und ADM-Systeme mitunter ein, um die Entscheidungsfindung im Bereich Migration zu unterstützen, etwa bei Entscheidungen über Staatsbürgerschaft, Asyl oder Aufenthalt. Zu den gemeldeten Verwendungszwecken gehören die Identifizierung der Sprache und die Bewertung von Sprachkenntnissen, die Aufdeckung von Betrug im Zusammenhang mit Ausweisdokumenten, die Verwaltung von Dossiers, die Kommunikation mit Migranten (auch mittels "Chatbots"), Migrationsprognosen und die Grenzüberwachung mit technischen Mitteln. Auch in anderen Bereichen wie Sozialhilfe, Justiz, Bildungswesen, Steuern und Gesundheitswesen setzen die Behörden auf KI und ADMS.

Im Privatsektor verwenden Personalagenturen KI und ADMS, um Kandidaten auszuwählen und ihre Profile zu erstellen, Profile und Bewerbungen abzugleichen oder Stellenangebote zu schreiben und zu übersetzen. Diese Systeme werden auch in wichtigen Bereichen des Privatsektors wie Banken und Versicherungen eingesetzt.

Neue Rechtsrahmen

Im Jahr 2024 verabschiedeten sowohl die Europäische Union als auch der Europarat wegweisende Rechtsakte: die EU-Verordnung über künstliche Intelligenz oder das "KI-Gesetz" (Verordnung 2024/1689) bzw. das Rahmenübereinkommen des Europarates über künstliche Intelligenz und Menschenrechte, Demokratie und Rechtsstaatlichkeit. In einer der Veröffentlichungen, die heute auf der Veranstaltung vorgestellt wurden, wird untersucht, wie diese neuen Rechtsinstrumente dazu beitragen, den Schutz vor Diskriminierung durch Algorithmen in Europa zu stärken, und werden die verbleibenden Lücken in diesen Rechtsrahmen bewertet. (weiter)

Europäische Politikleitlinien zu KI- und algorithmusbedingter Diskriminierung für Gleichstellungsstellen und andere nationale Menschenrechtsstrukturen [EN] (auch auf FRA, NED, POR, FIN, SWE)

Rechtlicher Schutz gegen Diskriminierung durch Algorithmen in Europa: Aktuelle Rahmenbedingungen und verbleibende Lücken [EN] (auch auf FRA, NED, POR, FIN, SWE)

Der Europarat und Inklusion und Antidiskriminierung [EN]

Rahmenübereinkommen des Europarates über künstliche Intelligenz und Menschenrechte, Demokratie und Rechtsstaatlichkeit [EN]