Interview: Wer schützt eigentlich die KI

Generative KI hält Einzug in Anwendungen und Geschäftsprozesse - und schafft dabei neue Anforderungen an die IT-Sicherheit. Frank Thias, Senior Principal Solutions Engineer bei F5 Networks, erklärt im Interview, warum klassische Sicherheitsmaßnahmen allein nicht ausreichen, welche Risiken durch KI-Agenten und neue Schnittstellen entstehen und warum Security von Anfang an Teil von KI-Initiativen sein sollte.

Mehr zum Thema erfahren Sie in Frank Thias' Impulsvortrag "Wer schützt eigentlich die KI? KI-Angriffe: Überlegungen, Methoden und Abwehr" bei den Internet Security Days on Tour am 5. November in Frankfurt. Jetzt anmelden!

1. Unternehmen integrieren generative KI zunehmend in Anwendungen und Geschäftsprozesse. Was wird beim Thema KI-Security aus Ihrer Sicht aktuell noch unterschätzt?

Aus meiner Sicht wird aktuell vor allem unterschätzt, dass KI-Sicherheit nicht automatisch durch klassische IT-Sicherheitsmaßnahmen abgedeckt wird. Viele Unternehmen konzentrieren sich verständlicherweise auf den Mehrwert generativer KI und die schnelle Integration in Anwendungen und Geschäftsprozesse. Sicherheitsaspekte werden dabei häufig erst nachgelagert betrachtet.

In Gesprächen mit Verantwortlichen sowie anhand der aktuellen Projektnachfrage beobachte ich, dass KI-spezifische Risiken oft noch nicht ausreichend berücksichtigt werden. Dazu gehören beispielsweise Prompt Injection, die unbeabsichtigte Offenlegung sensibler Daten, Manipulation von KI-Ausgaben oder unzureichende Kontrollmechanismen bei der Nutzung externer Modelle und Dienste.
Hinzu kommt, dass sich viele Organisationen noch in einer frühen Lernphase befinden. Es fehlt häufig an klaren Prozessen, Verantwortlichkeiten und Sicherheitsstandards für den sicheren Einsatz von KI. Dadurch entsteht die Gefahr, dass KI-Lösungen schneller eingeführt werden als die notwendigen Governance- und Sicherheitsmaßnahmen. Die gute Nachricht ist, dass das Bewusstsein für das Thema deutlich wächst. Dennoch sehe ich derzeit eine signifikante Lücke zwischen der Geschwindigkeit der KI-Einführung und der Einführung von speziellen KI Sicherheitslösungen.

2. Ihr Impulsvortrag bei den Internet Security Days in Frankfurt trägt den Titel "Wer schützt eigentlich die KI?". Warum wird genau diese Frage für Unternehmen gerade wichtiger?

Die Frage "Wer schützt eigentlich die KI?" wird für Unternehmen immer wichtiger, weil sich der Fokus bislang meist darauf richtet, wie KI die Organisation unterstützt -
beispielsweise bei der Automatisierung von Prozessen, der Analyse von Daten oder der Unterstützung von Mitarbeitern. Deutlich weniger Aufmerksamkeit erhält dagegen die Frage, wie die KI-Systeme selbst geschützt werden müssen.

Dabei werden KI-Anwendungen zunehmend zu geschäftskritischen Komponenten. Sie verarbeiten sensible Informationen, treffen Entscheidungen oder beeinflussen Geschäftsprozesse direkt.
Werden diese Systeme manipuliert, mit fehlerhaften Daten versorgt oder missbraucht, können daraus erhebliche Risiken für Unternehmen entstehen und das bei einer dynamischen Bedrohungslage.

Angreifer beschäftigen sich zunehmend mit KI-spezifischen Angriffsmethoden, während viele Unternehmen noch dabei sind, Erfahrungen mit dem sicheren Betrieb solcher Systeme zu sammeln.
Es entstehen neue Angriffsfläche, die klassische Sicherheitskonzepte allein nicht vollständig abdecken.
Mit dem Vortrag möchte ich deshalb den Blick auf die oft vernachlässigte Perspektive lenken: Nicht nur die Frage, wie wir KI nutzen, sondern auch, wie wir KI-Systeme wirksam schützen und sicher betreiben können, wird künftig ein entscheidender Erfolgsfaktor sein.

3. Mit KI-Agenten können Systeme zunehmend eigenständig auf Daten zugreifen und Aktionen ausführen. Wie verändert sich dadurch das Risikoprofil und welche Leitplanken müssen Unternehmen einziehen, bevor sie solchen Systemen weitreichende Berechtigungen geben?

KI-Agenten stellen einen bedeutenden Entwicklungsschritt dar, weil sie nicht mehr nur Informationen liefern, sondern zunehmend eigenständig auf Systeme zugreifen und Aktionen ausführen können.
Damit verschiebt sich das Risikoprofil deutlich: Aus einem potenziell fehlerhaften KI-Ergebnis kann unmittelbar eine fehlerhafte oder sogar schädliche Handlung werden.
Unternehmen müssen deshalb davon ausgehen, dass KI-Agenten dieselben Risiken mitbringen wie menschliche Benutzer - teilweise sogar in größerem Umfang, da sie schneller arbeiten, auf viele Systeme gleichzeitig zugreifen und Entscheidungen automatisiert umsetzen können.

Bevor Unternehmen solchen Systemen weitreichende Berechtigungen erteilen, sollten sie einige grundlegende Leitplanken etablieren.
Dazu zählen insbesondere das Prinzip der minimalen Rechtevergabe, eine klare Trennung von Rollen und Verantwortlichkeiten, die Protokollierung aller Aktionen sowie die Möglichkeit, kritische Vorgänge durch einen Menschen freigeben zu lassen.
Ebenso wichtig sind technische Schutzmechanismen gegen Manipulationen, beispielsweise durch Prompt Injection oder missbräuchliche Eingaben.
Letztlich sollte ein KI-Agent nicht mehr Rechte erhalten als für seine konkrete Aufgabe erforderlich sind.
Die zentrale Frage lautet dabei nicht, was der Agent technisch tun kann, sondern was er tatsächlich tun dürfen sollte. Genau diese Governance-Frage wird für Unternehmen in den kommenden Jahren immer wichtiger werden.

4. KI-Anwendungen kommunizieren über immer mehr APIs mit Modellen, Datenbanken und anderen Unternehmenssystemen. Werden diese Schnittstellen damit zu einer der entscheidenden neuen Angriffsflächen und wie behalten Unternehmen überhaupt den Überblick darüber, was miteinander verbunden ist?

Ja, aus meiner Sicht entwickeln sich diese Schnittstellen zu einer der wichtigsten neuen Angriffsflächen im KI-Umfeld.
Moderne KI-Anwendungen bestehen selten nur aus einem einzelnen Modell. In der Praxis sind sie mit Datenbanken, Cloud-Diensten, internen Anwendungen, externen APIs und zunehmend auch mit KI-Agenten verbunden, die selbstständig Aktionen ausführen können.
Jede zusätzliche Verbindung erweitert die potenzielle Angriffsfläche.

Die Herausforderung besteht darin, dass viele Unternehmen heute bereits Schwierigkeiten haben, ihre klassische API-Landschaft vollständig zu erfassen. Mit KI-Anwendungen steigt die Komplexität nochmals deutlich an.
Oft entstehen neue Verbindungen sehr schnell, beispielsweise im Rahmen von Pilotprojekten oder durch Fachbereiche, die KI-Dienste eigenständig integrieren. Dadurch verlieren Unternehmen leicht den Überblick darüber, welche Systeme miteinander kommunizieren, welche Daten ausgetauscht werden und welche Berechtigungen tatsächlich bestehen.

Deshalb wird Transparenz zu einem zentralen Sicherheitsfaktor. Unternehmen benötigen ein vollständiges Inventar ihrer KI-Anwendungen, Schnittstellen, Datenflüsse und Abhängigkeiten. Nur wer weiß, welche Systeme miteinander verbunden sind, kann Risiken bewerten, Zugriffe kontrollieren und Sicherheitsmaßnahmen wirksam umsetzen.

Letztlich gilt ein bekanntes Prinzip der IT-Sicherheit auch für KI: Man kann nur schützen, was man kennt. Die größte Gefahr besteht häufig nicht in der einzelnen Schnittstelle, sondern in der fehlenden Transparenz über das Gesamtsystem und seine Abhängigkeiten.

5. Bei der ISD Roadshow diskutieren Sie über die Frage, wie Unternehmen die Chancen von KI nutzen und zugleich ihre Risiken beherrschen können. Was muss passieren, damit Security dabei nicht zur Bremse wird, sondern KI-Innovation von Anfang an ermöglicht?

Damit Security nicht zur Bremse wird, muss sie frühzeitig Teil der KI-Initiativen sein. In vielen Unternehmen werden Sicherheitsverantwortliche erst eingebunden, wenn eine Lösung bereits ausgewählt oder sogar produktiv eingesetzt wird. Dann entsteht häufig der Eindruck, Security würde Innovation verhindern. Tatsächlich ist das Problem meist, dass Sicherheitsanforderungen zu spät berücksichtigt wurden.

Unternehmen sollten deshalb Security als Enabler verstehen.
Ziel darf nicht sein, KI-Projekte zu verhindern, sondern sichere Rahmenbedingungen für deren Einsatz zu schaffen. Dazu gehören klare Governance-Strukturen, definierte Sicherheitsanforderungen, standardisierte Freigabeprozesse und praxisnahe Leitlinien für Entwickler und Fachbereiche.

Wichtig ist außerdem ein risikobasierter Ansatz. Nicht jede KI-Anwendung benötigt dieselben Kontrollen. Während ein interner Assistent für allgemeine Recherchen andere Anforderungen hat als ein KI-Agent mit Zugriff auf kritische Geschäftssysteme, müssen die Schutzmaßnahmen zum jeweiligen Risiko passen. So bleibt Innovation möglich, ohne auf Sicherheit zu verzichten.
Letztlich werden die Unternehmen erfolgreich sein, die Sicherheit nicht als Hindernis, sondern als Voraussetzung für nachhaltige KI-Nutzung verstehen. Wer von Anfang an die richtigen Leitplanken setzt, kann Innovation beschleunigen, statt sie auszubremsen.

In der IT-Sicherheit haben wir gelernt, Identitäten, Geräte und Anwendungen zu vertrauen. Die offene Frage der nächsten Jahre lautet: Wie messen wir Vertrauen in autonome KI-Systeme - und wer entscheidet, wann dieses Vertrauen gerechtfertigt ist?