Hochrisiko-KI: FRA-Bericht fordert wirksame Folgenabschätzung für Grundrechte

In dem Bericht "Assessing high risk artificial intelligence" (Bewertung von Hochrisiko-KI) werden die Entwicklung und Nutzung von KI in fünf Bereichen untersucht, die im Rahmen des KI-Gesetzes als Hochrisikobereiche definiert werden: Asyl, Bildung, Beschäftigung, Strafverfolgung und öffentliche Leistungen. Dazu gehören unter anderem der Einsatz von KI bei Bewerbungen und Prüfungen, der Feststellung der Anspruchsberechtigung für Invaliditätsrenten und der Beurteilung der Lesefähigkeit von Kindern. Diese Systeme müssen vertrauenswürdig sein, da sie wichtige Entscheidungen beeinflussen können, die sich auf das tägliche Leben von Menschen auswirken. Um dieses Vertrauen aufzubauen, muss sorgfältig geprüft werden, wie sich deren Einsatz auf die Grundrechte auswirkt.

Die Ergebnisse der FRA zeigen, dass sich KI-Anbieter im Allgemeinen der Risiken bewusst sind, die ihre Systeme für den Schutz der Privatsphäre, den Datenschutz und die Nichtdiskriminierung bergen. Viele berücksichtigen jedoch nicht die weiterreichenden Auswirkungen auf die Grundrechte. Anbieter von KI-Systemen, die zur Bewertung der Lesefähigkeiten von Kindern eingesetzt werden, versäumen es beispielsweise häufig, die Auswirkungen ihres Systems auf das Recht auf Bildung zu beurteilen.

Die Ansätze zur Minderung der Risiken, die sich aus der Nutzung von KI ergeben, sind fragmentiert und ihre Wirksamkeit ist nicht erwiesen. So setzen viele Anbieter beispielsweise auf die menschliche Aufsicht als Risikominderungsmaßnahme, doch dies ist keine Patentlösung. Mit der Aufsicht von KI-Systemen betraute Personen könnten sich möglicherweise zu sehr auf deren Ergebnisse verlassen oder Fehler übersehen. Neben menschlicher Aufsicht sind weitere Risikominderungsmaßnahmen erforderlich.

Basierend auf ausführlichen Befragungen von Personen, die mit Hochrisiko-KI befasst sind, beleuchtet der Bericht die Herausforderungen bei der Festlegung, was als KI-System gilt, und bei der Entscheidung, wann solche Systeme gemäß dem KI-Gesetz als Hochrisiko-Systeme einzustufen sind. So können Organisationen beispielsweise einen sogenannten "Filter" verwenden, um Systeme aus der Hochrisiko-Kategorie auszuschließen, wenn sie einfache oder vorbereitende Aufgaben wie die Bearbeitung von Akten ausführen. Solche Systeme können jedoch weiterhin die Rechte von Menschen beeinträchtigen, wenn sie ungenaue Ergebnisse liefern. Bei einer zu weitgefassten Auslegung könnte dieser Filter Schlupflöcher schaffen und den Schutz der Grundrechte in der Praxis einschränken.

Um diese Probleme anzugehen und ein gemeinsames Verständnis von Hochrisiko-KI-Systemen zu gewährleisten, schlägt die FRA Folgendes vor:

• Den KI-Begriff weit auslegen: Selbst weniger komplexe Systeme können Verzerrungen enthalten, zu Diskriminierung führen oder auf andere Weise die Grundrechte beeinträchtigen. Daher sollte der Begriff "KI-Systeme" weit ausgelegt werden, um einen wirksamen Schutz der Grundrechte zu gewährleisten und die Rechtssicherheit hinsichtlich der Anwendung des KI-Gesetzes zu erhöhen.
• "Filter"-Schlupflöcher vermeiden: Der Filter für Hochrisiko-KI-Systeme im Zusammenhang mit dem KI-Gesetz muss klar und eng angewandt werden, um Schlupflöcher zu vermeiden, die den Schutz der Grundrechte in der gesamten EU untergraben könnten. Die Europäische Kommission und die nationalen Behörden sollten die Verwendung des Filters genau überwachen. Falls erforderlich, sollte die Kommission die Vorschriften überarbeiten, um Missbrauch zu verhindern.
• Klare Leitlinien für Grundrechte-Folgenabschätzungen: Es bedarf klarer und einheitlicher Leitlinien, um sicherzustellen, dass Risikobewertungen für Hochrisiko-KI-Systeme alle Grundrechte wirksam schützen - über das Recht auf Privatsphäre, Datenschutz und Nichtdiskriminierung hinaus. Die Ermittlung und Minderung von Risiken für die Grundrechte fördert verantwortungsvolle Innovationen und unterstützt den fairen Wettbewerb, indem sie Anbietern dabei hilft, bessere und vertrauenswürdigere KI zu entwickeln.
• In ein besseres Verständnis von Risiken und Minderungsmaßnahmen investieren: Die Europäische Kommission und die EU-Mitgliedstaaten sollten insbesondere in Hochrisikobereichen in Studien und Tests von KI-Systemen investieren, um ein besseres Verständnis der Risiken für die Grundrechte und wirksamer Minderungsmaßnahmen zu erlangen. Dies würde die Umsetzung des KI-Gesetzes erleichtern.
• Eine angemessene Aufsicht sicherstellen: Selbstbewertungen sind wichtig, aber sie funktionieren nur, wenn sie durch eine unabhängige Aufsicht von gut ausgestatteten Stellen mit Fachkenntnissen im Bereich der Grundrechte ergänzt werden. Die EU und ihre Mitgliedstaaten sollten dafür sorgen, dass die Aufsichtsbehörden über ausreichende finanzielle Mittel, Personal und technische Unterstützung verfügen, um die Nutzung von KI-Systemen wirksam zu überwachen.

Hierzu äußert sich Direktorin der FRA, Sirpa Rautio, wie folgt:

"Die Bewertung der Risiken für die Grundrechte ist eine gute Praxis und von Vorteil für die Wirtschaft. Sie trägt dazu bei, eine vertrauenswürdige KI aufzubauen, die im Dienste der Menschen steht. Sie schafft Rechtssicherheit für Unternehmen. Und sie hilft der EU, ihrer Zusage nachzukommen, innovativ zu sein und wettbewerbsfähig zu bleiben, ohne ihre eigenen Werte und Standards zu gefährden. Eine Vereinfachung der Rechtsvorschriften ist zu begrüßen, jedoch nicht auf Kosten der Grundrechte, insbesondere in Hochrisikobereichen."

Die Befragungen zu diesem Bericht und dessen Inhalt wurden abgeschlossen, bevor die Europäische Kommission ihren Vorschlag zum digitalen Omnibus-Paket am 19. November 2025 vorgestellt hat. Die Ergebnisse des Berichts beziehen sich nicht direkt auf den Vorschlag zum digitalen Omnibus-Paket.

Der Bericht stützt sich auf Befragungen von Anbietern und Betreibern von KI-Systemen und KI-Expertinnen und -Experten in Deutschland, Irland, den Niederlanden, Spanien und Schweden. Erkenntnisse aus Fokusgruppen und Befragungen von Rechteinhabern ergänzen die Analyse.

Er baut auf früheren Berichten der FRA über künstliche Intelligenz und Grundrechte sowie über Verzerrungen in Algorithmen auf, in denen die Auswirkungen der KI auf alle Grundrechte - nicht nur auf den Schutz der Privatsphäre oder den Datenschutz - hervorgehoben wird.

Weitere Auskünfte erhalten Sie unter: [email protected] / Tel.: +43 1 580 30 642