„KI ist eine Wahrscheinlichkeitsmaschine und kein Allheilmittel“

Herr Herr Borkert, wie nehmen Sie die Diskussion um Künstliche Intelligenz derzeit wahr?
In der juristischen Welt wird KI seit anderthalb Jahren intensiv diskutiert, in Fachmedien, auf LinkedIn, auf Konferenzen. Im Zentrum steht die europäische KI-Verordnung, die seit Februar 2025 in Teilen gilt. Bei Technikern und Unternehmen erlebe ich dagegen viel Begeisterung für die Möglichkeiten. Wenn man sie auf die rechtlichen Rahmenbedingungen anspricht, reagieren viele überrascht. Dabei sind genau diese Regeln entscheidend. Die KI-Verordnung wird unser Handeln in den nächsten Jahren stark prägen.

Welche Anforderungen bringt die Verordnung mit sich?
Die KI-Verordnung unterscheidet verschiedene Risikoklassen. Verbotene Systeme dürfen gar nicht eingesetzt werden. Für viele Anwendungen gelten Transparenz- und Dokumentationspflichten. Unternehmen müssen ihre Mitarbeitenden schulen, damit sie verstehen, was KI kann und was nicht. Ich vergleiche das gerne mit einer Motorsäge: Auch sie darf nur jemand bedienen, der Schutzkleidung trägt und geschult ist. KI ist ein Werkzeug. Man muss es kennen und beherrschen.

Wo liegen die größten Gefahren?
KI ist im Kern eine Wahrscheinlichkeitsmaschine. Systeme wie ChatGPT verstehen Inhalte nicht wirklich, sie berechnen nur das wahrscheinlich nächste Wort. Das kann zu gravierenden Fehlentscheidungen führen, wenn man die Ergebnisse unreflektiert übernimmt. Gerade im Einkauf, wo Entscheidungen über Lieferanten getroffen oder Verträge automatisch ausgewertet werden, hat das reale Konsequenzen, bis hin zu Diskriminierung oder ungerechtfertigten Ausschlüssen. Deshalb gilt: KI kann unterstützen, aber die Entscheidungen müssen nachvollziehbar und kontrollierbar bleiben.

Was bedeutet das für den Einkauf?
Viele Anbieter schreiben heute "KI" auf ihre Tools, doch oft steckt nur ein API-Zugriff auf große Sprachmodelle dahinter. Unternehmen sollten prüfen: Nutzt das Tool eigene Funktionen oder bindet es externe Systeme ein? Wichtig ist ein gezieltes Vorgehen. Nicht der große Wurf bringt den Erfolg, sondern ein iterativer Weg: erst Anwendungsfelder identifizieren, dann pilotieren und bewerten. Typische Beispiele im Einkauf sind Marktanalysen, Textbearbeitung für Vergaben oder Angebotsauswertungen. Dabei stellt sich immer die Frage: Gebe ich dabei sensible Daten preis? Nutze ich öffentliche Systeme oder ein geschütztes Modell?

Inwiefern ist die Nutzung öffentlicher KI-Plattformen riskant?
Das hängt von den eingegebenen Daten ab. Ohne personenbezogene Daten ist das Risiko geringer. Kritisch wird es, wenn Betriebsgeheimnisse, geistiges Eigentum oder Vertragsdetails unkontrolliert in öffentliche Systeme gelangen. Unternehmen sollten sehr genau unterscheiden: Handelt es sich um ein frei zugängliches Tool, für das man "mit Daten bezahlt"? Oder um eine Business-Variante mit Auftragsverarbeitungsvertrag? Am sichersten bleibt das Hosting in einer geschützten Umgebung, sei es im eigenen Rechenzentrum oder bei einem europäischen Anbieter.

Stichwort digitale Souveränität: Welche Rolle spielt die Datenhoheit?
Eine zentrale. US-Anbieter unterliegen dem Patriot Act und dem Cloud Act, was bedeutet, dass US-Behörden Zugriff erzwingen können. Das haben wir erst kürzlich beim Internationalen Strafgerichtshof gesehen. Diese Abhängigkeit führt dazu, dass die Diskussion um digitale Souveränität in Europa deutlich an Fahrt aufgenommen hat. Unternehmen sollten sensibel prüfen, welche Daten wohin fließen. Für kritische oder hochsensible Daten empfehle ich klar, diese in einem europäischen oder eigenen Umfeld zu halten.

Was raten Sie beim Einkauf von KI-Software?
Bei klassischen IT-Projekten fragt man: Wann ist Software mangelhaft? Rechtstechnisch gesprochen ist das der Fall, wenn die Ist-Beschaffenheit nicht die Soll-Beschaffenheit erreicht. Bei KI ist es schwieriger das Soll zu definieren. Denn das System entwickelt sich weiter und lernt. Hier sollte man definieren: Welche Inputs führen zu welchen Outputs? Welche Genauigkeit, Geschwindigkeit oder Performance erwarte ich? So lassen sich Abweichungen festmachen. Außerdem sollten Unternehmen ihre Lieferanten verpflichten, Dokumentationen und Testdaten bereitzustellen. Wichtig ist, im Zweifel vertraglich Nachbesserungen einzufordern. Und man sollte prüfen: Lässt sich ein System technisch und organisatorisch so gestalten, dass es nicht in den Hochrisikobereich der KI-Verordnung fällt?

Gibt es typische Fallstricke?
Ja, vor allem beim Exit. Unternehmen sollten sicherstellen, dass sie ihre Trainingsdaten behalten und auch die Gewichtungen eines Modells exportieren können. Wer heute auf ein System setzt, muss morgen flexibel auf ein anderes wechseln können. Ein zweiter Punkt ist die Nutzung von Daten Dritter für das Training. Hier muss man urheberrechtlich sauber arbeiten, sonst drohen Klagen wie wir sie aktuell von Verwertungsgesellschaften wie der Gema oder VG Wort, gegen große Anbieter sehen. Im Einkauf sollte man sich entsprechende Freistellungsklauseln zusichern lassen.

Was ist beim Datenschutz zu beachten?

Automatisierte Entscheidungsfindungen müssen transparent gemacht werden. Das gilt unabhängig davon, ob KI im Spiel ist oder nicht. Betroffene haben ein Recht zu erfahren, ob eine Maschine über sie entscheidet. Bei Hochrisiko-KI kommt außerdem eine sogenannte Grundrechtsfolgenabschätzung hinzu. Schwieriger ist die Frage nach Löschpflichten: Trainingsdaten lassen sich entfernen, aber ob sich auch die daraus abgeleiteten Gewichtungen rückgängig machen lassen, ist fraglich.

Wo sehen Sie für den Einkauf die größten Herausforderungen?
Erstens bei der Dokumentation: Entscheidungen müssen nachvollziehbar sein, besonders in öffentlichen Vergaben. Zweitens beim Change Management: Mitarbeitende sind aus dem privaten Alltag an KI-Tools gewöhnt und neigen dazu, diese unkontrolliert im Unternehmen einzusetzen. Im Zweifel nutzt man für eine Abfrage dann halt das private Smartphone. Deshalb braucht es klare Policies, wie KI genutzt werden darf. Und schließlich bei der Haftung: Wenn KI Vorschläge liefert, muss der Mensch die Entscheidung verantworten. Das gilt für die Krebsdiagnose einer Ärztin genauso wie für die Lieferantenauswahl, die ein Einkäufer trifft.

Das BIP-Interview führte Annette Mühlberger, Fachjournalistin.