Agentic AI sicher steuern: So setzen Sie auf Zero Trust und Compliance

KI-Agenten – oder Agentic AI – revolutionieren die Unternehmenswelt: von Automatisierung über Datenanalyse bis hin zu eigenständigen Entscheidungen. Doch mit der Geschwindigkeit, in der KI-Agenten eingeführt werden, wächst auch das Risiko: Wer steuert eigentlich, was diese Agenten tun? Und wie können Unternehmen sicherstellen, dass KI nicht zum Compliance- oder Sicherheitsrisiko wird? In diesem Artikel erfährst du, wie das Prinzip „In Dubio Pro Securitate“ und moderne Governance-Ansätze helfen, KI-Agenten sicher und compliant einzusetzen.

Wie entsteht die Sicherheitslücke von KI-Agenten?

Viele Unternehmen setzen KI-Agenten ein, ohne deren Zugriffsrechte, Verhalten oder Risiken wirklich zu kennen. Typische Fehler:

• KI-Agenten erhalten zu breite Zugriffsrechte („Least Privilege“ wird ignoriert).
• Es gibt keine durchgängige Überwachung oder Audit-Trails.
• Compliance-Anforderungen (z. B. ISO 27001, SOC 2) werden nicht auf KI-Agenten angewendet.
• Sicherheitsvorfälle häufen sich: Chatbots schließen Verträge zu Fantasiepreisen ab, Agenten installieren Keylogger oder leaken interne Daten.
• Shadow AI entsteht, ähnlich wie Shadow IT, weil niemand die Agentenflotte wirklich überblickt.

Agenten müssen grundsätzlich als unsicher behandelt werden, bis ihre Sicherheit formal bewiesen ist – denn die Kosten einer zugelassenen, aber unsicheren KI-Aktion sind weitaus höher als das Blockieren einer nützlichen, aber unbewiesenen Aktion.

Erik Meijer, Speaker beim Enterprise AI Summit 2026 und international anerkannter Computerwissenschaftler, Softwarearchitekt und Innovator im Bereich Programmiersprachen und formale Methoden

Von Unschuldsvermutung zu Sicherheitsvermutung: 3 Sicherheitsprinzipien für Agentic AI

1. In Dubio Pro Securitate

Im klassischen Rechtssystem gilt: „Im Zweifel für den Angeklagten.“ Bei KI-Agenten muss dieses Prinzip umgekehrt werden: Im Zweifel für die Sicherheit („In Dubio Pro Securitate“). Das bedeutet, dass jede Aktion eines KI-Agenten zunächst als potenziell unsicher gilt, solange, bis das Gegenteil bewiesen ist.

Warum ist das nötig?

• KI-Agenten können in Sekundenbruchteilen weitreichende Entscheidungen treffen (z. B. Verträge abschließen, Daten verschicken, Systeme konfigurieren).
• Ein einziger Fehler kann enorme finanzielle, rechtliche oder Reputationsschäden verursachen.
• Die Geschwindigkeit und Komplexität von KI-Systemen übersteigt menschliche Kontrollmöglichkeiten.

2. Deferierung und formale Verifikation als Schutzmechanismus

Deferierung bedeutet, dass ein KI-Agent nicht direkt handelt, sondern zunächst nur einen Vorschlag (Plan, Code, Aktion) generiert. Dieser Vorschlag wird dann vor der Ausführung geprüft.

Formale Verifikation ist ein mathematisches Verfahren, bei dem geprüft wird, ob der Vorschlag des Agenten alle definierten Regeln und Sicherheitsanforderungen erfüllt. Das geschieht z. B. mit sogenannten SAT-Solvern oder SMT-Solvern, die automatisiert nach Gegenbeispielen suchen.

Beispiel: Ein KI-Agent schlägt vor, einen Vertrag zu unterzeichnen. Die formale Verifikation prüft, ob alle Vertragsbedingungen, Preisuntergrenzen und Compliance-Vorgaben eingehalten werden. Wird eine Regel verletzt, wird der Vorschlag verworfen und der Agent muss einen neuen Plan generieren.

3. Trennung von Beweisfindung und Beweisprüfung

Ein zentrales Prinzip für sichere KI-Agenten ist die klare Trennung zwischen Beweisfindung und Beweisprüfung.

• Beweisfindung: Das KI-Modell erstellt einen Vorschlag (z. B. Code, Plan, Aktion), der die gewünschten Anforderungen erfüllen soll. Hier kann das Modell kreativ und flexibel agieren, aber Fehler oder Regelverstöße sind möglich.
• Beweisprüfung: Ein unabhängiges, deterministisches System prüft anschließend, ob der Vorschlag wirklich alle Sicherheits- und Compliance-Regeln einhält. Nur wenn die Prüfung bestanden wird, darf der Agent handeln.

Warum ist das wichtig?

• Vermeidung von „Blindem Vertrauen“:
  KI-Modelle sind mächtig, aber nicht unfehlbar. Sie können Fehler machen, Sicherheitslücken übersehen oder sogar – absichtlich oder unabsichtlich – Regeln umgehen. Wenn das gleiche System, das den Vorschlag macht, auch über dessen Sicherheit entscheidet, besteht ein hohes Risiko für Fehler oder Manipulationen.
• Unabhängigkeit und Nachvollziehbarkeit:
  Die Beweisprüfung ist unabhängig vom KI-Modell und arbeitet deterministisch. Das bedeutet: Für denselben Vorschlag gibt es immer das gleiche Prüfergebnis. Das schafft Transparenz und Nachvollziehbarkeit – wichtige Voraussetzungen für Audits, Compliance und Vertrauen.
• Effizienz durch Wiederholung:
  Da die Generierung von Vorschlägen durch KI-Agenten sehr günstig ist, können unsichere oder fehlerhafte Vorschläge einfach verworfen werden. Der Agent generiert so lange neue Vorschläge, bis einer die Prüfung besteht. Das erhöht die Sicherheit, ohne die Innovationsgeschwindigkeit zu bremsen.

Praxisbeispiel: Ein KI-Agent schlägt einen Code-Change vor. Erst wenn ein formales Prüfsystem bestätigt, dass keine Compliance-Regeln verletzt werden, wird der Code ausgeführt. Andernfalls wird ein neuer Vorschlag generiert.

Diese Trennung sorgt dafür, dass KI-Agenten innovativ, aber niemals unkontrolliert oder unsicher handeln. Ein Muss für jedes Unternehmen, das auf KI setzt.

Konkrete Schritte zur sicheren KI-Agenten-Governance

Zero Trust und Least Privilege für KI-Agenten

Ein zentrales Prinzip moderner IT-Sicherheit ist das Zero-Trust-Modell. Übertragen auf KI-Agenten bedeutet das: Kein Agent erhält automatisch Vertrauen oder weitreichende Rechte. Jeder Zugriff und jede Aktion eines Agenten muss explizit erlaubt und jederzeit nachvollziehbar sein.

Das Prinzip des „Least Privilege“ ergänzt diesen Ansatz, indem jeder Agent nur die minimal notwendigen Rechte erhält, die er für seine Aufgabe wirklich braucht. So wird verhindert, dass ein Agent – etwa ein Reporting-Agent – auf sensible Kundendaten oder Administrationsfunktionen zugreifen kann, wenn er diese für seine Arbeit gar nicht benötigt.

In der Praxis werden alle Agenten-Identitäten zentral verwaltet, zum Beispiel mit DevSecOps-Plattformen wie Container8. Die Berechtigungen werden regelmäßig überprüft und angepasst, um sicherzustellen, dass keine unnötigen Rechte bestehen bleiben. Sollte ein Verdacht auf Missbrauch oder Fehlverhalten bestehen, können die Rechte eines Agenten sofort entzogen werden, um Schaden zu verhindern.

Formale Verifikation operationalisieren

Um die Sicherheit von KI-Agenten weiter zu erhöhen, wird jeder von ihnen vorgeschlagene Plan vor der Ausführung einer formalen Verifikation unterzogen. Das bedeutet, dass der Vorschlag mit mathematischen Methoden und automatisierten Tools wie Policy-as-Code oder SAT-Solvern gegen alle relevanten Regeln und Compliance-Anforderungen geprüft wird. Erst wenn der Plan diese Prüfung besteht und keine Regel verletzt wird, darf der Agent die Aktion tatsächlich ausführen.

Ein anschauliches Beispiel ist ein KI-Agent, der eine Zahlung auslösen möchte: Die Verifikation prüft, ob der Betrag im erlaubten Rahmen liegt, alle Compliance-Vorgaben eingehalten werden und keine Datenlecks entstehen. Fehlerhafte oder riskante Aktionen werden so frühzeitig erkannt und blockiert, bevor sie Schaden anrichten können.

Compliance „Shift Left“ – Governance als Code

Traditionell finden Compliance-Prüfungen oft erst am Ende eines Entwicklungsprozesses statt. Im Zeitalter von KI und DevOps ist das zu spät.

Mit dem Ansatz „Shift Left“ werden Compliance-Prüfungen bereits frühzeitig und idealerweise automatisiert in den Entwicklungsprozess integriert. Das geschieht durch „Policy-as-Code“: Regeln und Richtlinien werden als Code formuliert und direkt in die CI/CD-Pipeline eingebunden. Entwickler und Agenten erhalten sofort Rückmeldung, ob ihre Änderungen compliant sind. Das reduziert den Aufwand für manuelle Audits erheblich und beschleunigt die Markteinführung neuer Funktionen, ohne die Sicherheit zu gefährden.

Kontinuierliches Monitoring und Audit-Trails

Ein weiterer wichtiger Baustein ist das kontinuierliche Monitoring aller Agenten-Aktivitäten. Jede Aktion eines KI-Agenten wird lückenlos protokolliert, sodass jederzeit nachvollzogen werden kann, wer was wann getan hat.

Moderne Monitoring-Systeme analysieren diese Aktivitäten in Echtzeit und erkennen ungewöhnliche oder unerlaubte Verhaltensweisen sofort. Versucht ein Agent beispielsweise, auf Daten zuzugreifen, die außerhalb seines Aufgabenbereichs liegen, schlägt das System Alarm und blockiert die Aktion automatisch.

Zentrale Dashboards bieten einen vollständigen Überblick über alle Agenten-Aktivitäten und ermöglichen eine schnelle Eskalation bei Policy-Verstößen. Diese Transparenz ist nicht nur für die Sicherheit, sondern auch für Audits und Compliance-Prüfungen unerlässlich.

Peer-Review und manuelle Kontrolle bei kritischen Aktionen

Gerade bei besonders sensiblen oder finanzkritischen Aktionen reicht Automatisierung allein nicht aus. Hier kommt das Vier-Augen-Prinzip zum Einsatz: Mindestens zwei Personen oder Systeme müssen eine Aktion freigeben, bevor sie ausgeführt wird. Das sorgt für zusätzliche Sicherheit und verhindert, dass ein einzelner Agent – oder ein einzelner Mensch – kritische Entscheidungen allein trifft.

In der Praxis werden dafür Schwellenwerte definiert, ab denen ein Peer-Review verpflichtend ist, etwa bei besonders hohen Beträgen oder beim Zugriff auf besonders schützenswerte Daten. So entsteht eine ausgewogene Kombination aus automatischer und manueller Kontrolle, die sowohl Effizienz als auch Sicherheit gewährleistet.

Zusammenfassung

• KI-Agenten sind ein massiver Hebel – aber auch ein massives Risiko, wenn Governance fehlt.
• Das Prinzip „In Dubio Pro Securitate“ schützt Unternehmen vor teuren Fehlern und Compliance-Verstößen.
• Formale Verifikation, Zero Trust und Policy-as-Code sind die Schlüssel zur sicheren Operationalisierung von KI-Agenten.
• Kontinuierliches Monitoring und Audit-Trails schaffen Transparenz und Nachvollziehbarkeit.
• Unternehmen, die jetzt handeln, sichern sich einen entscheidenden Wettbewerbsvorteil.

Du willst wissen, wie du KI-Agenten in deinem Unternehmen sicher und compliant einsetzt?
Kontaktiere unsere XALT AI-Experten: Wir analysieren deine Agenten-Landschaft, identifizieren Compliance-Gaps und zeigen dir den Weg zu Zero Trust Governance.