Zum Inhalt springen

Enterprise AI

Requests im KI-Tempo, Reviews im Menschentempo: risikobasierte Auto-Approvals

So setzt du risikobasierte Auto-Approvals ein: Video statt Diff bei geringem Risiko, Code-Review bei hohem. Mit Demo-Videos und Praxis aus der EAIS-Entwicklung.

Philipp GöllnerPhilipp GöllnerFounder & Ambassador für Enterprise AI bei XALT21.11.20264 min
Über Philipp Göllner

Philipp Göllner hat XALT gegründet und führt das Unternehmen. Er arbeitet seit 2005 mit Atlassian-Produkten, kommt aus DevOps und Softwarearchitektur und zeigt heute, wie Unternehmen KI-Agenten auf solide Atlassian- und DevOps-Prozesse setzen.

Gezeichneter Cartoon im XALT-Stil: Ein mintfarbener Roboter kippt einen Container voller Approval Requests, orangefarbene Blätter stürzen auf einen überrumpelten Mitarbeiter am Schreibtisch.

„Requests at AI speed. Reviews at human speed. What could go wrong?“ So fasst Jonathan Smart in einem LinkedIn-Post vom 20. November das Problem zusammen, das gerade jedes Engineering-Team trifft. Gene Kim, der unseren Vortrag auf dem Enterprise AI Summit in Charlotte eingeleitet hat, hat den Post geliked. Wir antworten darauf mit etwas, das wir selbst einsetzen: risikobasierte Auto-Approvals.

Agenten liefern Requests schneller, als Menschen sie prüfen

Ein Coding-Agent erzeugt in Minuten einen Pull Request. Für das Review braucht ein Mensch oft länger als der Agent fürs Schreiben. Bei einem Agenten ist das lästig, bei zwanzig Agenten entsteht eine Warteschlange. Aus dem Human in the Loop wird dann die Person, die alles abnicken soll, und wer unter Druck nur noch klickt, prüft nicht mehr. Wie wir das Hinsehen bewusst trainieren, steht im Beitrag Urteilsvermögen trainieren.

Zwei Auswege liegen nahe und kosten beide Qualität: alles durchwinken oder alles von Hand prüfen und selbst zum Engpass werden. Im ersten Fall verlierst du die Kontrolle, im zweiten die Geschwindigkeit, für die du die Agenten eingeführt hast.

Risikobasierte Auto-Approvals: ein Video für kleine Änderungen, der Code für große

Demo-Film von Kilian Warmdt: Visual Review nimmt eine fertige Änderung als kurzes Video auf.

Die Idee kommt von Kilian Warmdt aus unserem Team. Jede Änderung bekommt eine Risikostufe. Bei geringem Risiko sieht der Reviewer ein kurzes Video, das die Änderung in der echten Anwendung zeigt, und klickt auf Approve. Den Diff liest dabei niemand. Im Video sieht der Reviewer, was der Nutzer am Ende sieht, und kann es gegen das Ticket halten.

  • Geringes Risiko: Video und ein Klick auf Approve.
  • Höheres Risiko: Ein Mensch liest zusätzlich den Code.
  • Im Zweifel: eine Stufe höher einordnen.

So lief die Entwicklung für den Enterprise AI Summit

Ein Board, auf dem jede fertige Karte ihr Video trägt (Testanwendung).

Für den Enterprise AI Summit in Charlotte hat ein Team aus sechs Leuten den Chief of Staff gebaut, der jede Teilnehmerin und jeden Teilnehmer begleitet. Das Fundament stammt aus dem DevOps Handbook: 6.000 Testfälle, ein Jira Ticket pro Änderung, Pull Requests mit Review und Infrastructure as Code. Die Jira Tickets gingen an einen Orchestrator Agent, der den Code geschrieben hat. Bei rund zwanzig Features am Tag wusste bald niemand mehr genau, was gerade gebaut wird. Wie das ganze Team dabei in einer gemeinsamen Agenten-Sitzung arbeitet, beschreibt der Beitrag OpenClaw Multiplayer im Unternehmen.

Hier kam das Video ins Spiel. Zu jeder Änderung gab es ein Vorher-nachher-Video, und Änderungen mit geringem Risiko liefen über Video und Approve-Button. Alles andere ging weiter über den Code. Ein Feedback-Button in der App wurde zum Ticket und war in unter einer Stunde in Produktion. Philipp Göllner spricht im Vortrag von 80-facher Geschwindigkeit: Aus vier Wochen wurden zwei Stunden.

Was ein Review-Video leisten muss

Ein Video gilt nur dann als Beleg, wenn es mehr ist als eine Bildschirmaufnahme. Visual Review hängt an das Ticket das Video, die unbearbeitete Aufnahme und eine Zeile pro Akzeptanzkriterium. Jedes Video sagt auch, was es nicht belegt. Die Filme dauern heute 25 bis 45 Sekunden. Die Freigabe bleibt bei einem Menschen, und das Werkzeug ändert den Ticketstatus nie von sich aus.

Wo die Automatik aufhört

Offen ist die Frage, die wir auch in Charlotte gestellt haben: Wie gehst du mit Tickets mit hohem Risiko um? Eine einzelne Änderung hat bei uns 50 bereitgestellte Server lahmgelegt, und Ben Miller aus unserem Team hat fünf Tage lang je 14 Stunden an der Reparatur gearbeitet. Aus einem Video liest du ab, was ein Nutzer sieht. Was in der Infrastruktur passiert, bleibt darin verborgen. Solche Änderungen brauchen weiterhin Menschen mit Code-Kenntnis und mehrere Quality Gates davor. Wie viele Schichten automatischer Prüfung vor dem Menschen reichen, haben wir noch nicht entschieden.

Review nach Risiko macht aus dem Flaschenhals eine Entscheidung

Das nehmen wir mit:

  • Risikostufe vor dem Review: Jede Änderung bekommt eine Stufe, im Zweifel die höhere.
  • Video statt Diff bei geringem Risiko: Ein Mensch schaut kurz hin und gibt frei.
  • Vorher-nachher als Standard: Jede Änderung zeigt, was sich für den Nutzer ändert.
  • Hohes Risiko bleibt Handarbeit: Dort wird der Code gelesen, mit Quality Gates davor.
  • Der Mensch behält die Entscheidung: Die Automatik wählt aus, was er sieht.

Dein nächster Schritt: das Video ansehen

Den ganzen Ablauf erklärt Philipp Göllner in seinem Vortrag Building The Chief of Staff Agent 80x Faster in der IT Revolution Video Library: die Vorher-nachher-Videos und die risikobasierte Freigabe erklärt er in der zweiten Hälfte. Weitere Stationen unserer Reise findest du auf der AI World Tour.

Enterprise AI

Agenten schreiben den Code, dein Team behält die Entscheidung

Wir zeigen dir, wie du Risikostufen, Video-Review und Quality Gates in deinem Engineering-Prozess aufsetzt.

Aus derselben Kategorie

Weitere Beiträge

Team XALT vor dem Carolina Theatre beim Enterprise AI Summit in Charlotte
Enterprise AI

Neue Instrumente, alte Regeln: Was mir Jazz über KI-Teams beigebracht hat

Neue Instrumente, alte Regeln: Vom Jazzclub über einen Abend mit August-Wilhelm Scheer bis zu einer Folie in Shanghai. Was gutes Zusammenspiel ausmacht, wenn Agenten mitspielen.

Enterprise AI

Urteilsvermögen trainieren: erst entscheiden, dann die Empfehlung lesen

Wer als CEO Empfehlungen nur noch abnickt, verliert sein Urteilsvermögen. Eine Übung für einmal pro Woche: erst selbst entscheiden, dann die Empfehlung lesen, dann vergleichen.

Enterprise AI

Wenn die KI rät: Ein Agent, eine falsche Diagnose, fünf Regeln

Ein KI-Agent erklärt ein Zugangsproblem selbstsicher und falsch. Was Henry daraus gelernt hat und welche fünf Regeln für Agenten mit Systemzugriff gelten.