„Requests at AI speed. Reviews at human speed. What could go wrong?“ So fasst Jonathan Smart in einem LinkedIn-Post vom 20. November das Problem zusammen, das gerade jedes Engineering-Team trifft. Gene Kim, der unseren Vortrag auf dem Enterprise AI Summit in Charlotte eingeleitet hat, hat den Post geliked. Wir antworten darauf mit etwas, das wir selbst einsetzen: risikobasierte Auto-Approvals.
Agenten liefern Requests schneller, als Menschen sie prüfen
Ein Coding-Agent erzeugt in Minuten einen Pull Request. Für das Review braucht ein Mensch oft länger als der Agent fürs Schreiben. Bei einem Agenten ist das lästig, bei zwanzig Agenten entsteht eine Warteschlange. Aus dem Human in the Loop wird dann die Person, die alles abnicken soll, und wer unter Druck nur noch klickt, prüft nicht mehr. Wie wir das Hinsehen bewusst trainieren, steht im Beitrag Urteilsvermögen trainieren.
Zwei Auswege liegen nahe und kosten beide Qualität: alles durchwinken oder alles von Hand prüfen und selbst zum Engpass werden. Im ersten Fall verlierst du die Kontrolle, im zweiten die Geschwindigkeit, für die du die Agenten eingeführt hast.
Risikobasierte Auto-Approvals: ein Video für kleine Änderungen, der Code für große
Die Idee kommt von Kilian Warmdt aus unserem Team. Jede Änderung bekommt eine Risikostufe. Bei geringem Risiko sieht der Reviewer ein kurzes Video, das die Änderung in der echten Anwendung zeigt, und klickt auf Approve. Den Diff liest dabei niemand. Im Video sieht der Reviewer, was der Nutzer am Ende sieht, und kann es gegen das Ticket halten.
- Geringes Risiko: Video und ein Klick auf Approve.
- Höheres Risiko: Ein Mensch liest zusätzlich den Code.
- Im Zweifel: eine Stufe höher einordnen.
So lief die Entwicklung für den Enterprise AI Summit
Für den Enterprise AI Summit in Charlotte hat ein Team aus sechs Leuten den Chief of Staff gebaut, der jede Teilnehmerin und jeden Teilnehmer begleitet. Das Fundament stammt aus dem DevOps Handbook: 6.000 Testfälle, ein Jira Ticket pro Änderung, Pull Requests mit Review und Infrastructure as Code. Die Jira Tickets gingen an einen Orchestrator Agent, der den Code geschrieben hat. Bei rund zwanzig Features am Tag wusste bald niemand mehr genau, was gerade gebaut wird. Wie das ganze Team dabei in einer gemeinsamen Agenten-Sitzung arbeitet, beschreibt der Beitrag OpenClaw Multiplayer im Unternehmen.
Hier kam das Video ins Spiel. Zu jeder Änderung gab es ein Vorher-nachher-Video, und Änderungen mit geringem Risiko liefen über Video und Approve-Button. Alles andere ging weiter über den Code. Ein Feedback-Button in der App wurde zum Ticket und war in unter einer Stunde in Produktion. Philipp Göllner spricht im Vortrag von 80-facher Geschwindigkeit: Aus vier Wochen wurden zwei Stunden.
Was ein Review-Video leisten muss
Ein Video gilt nur dann als Beleg, wenn es mehr ist als eine Bildschirmaufnahme. Visual Review hängt an das Ticket das Video, die unbearbeitete Aufnahme und eine Zeile pro Akzeptanzkriterium. Jedes Video sagt auch, was es nicht belegt. Die Filme dauern heute 25 bis 45 Sekunden. Die Freigabe bleibt bei einem Menschen, und das Werkzeug ändert den Ticketstatus nie von sich aus.
Wo die Automatik aufhört
Offen ist die Frage, die wir auch in Charlotte gestellt haben: Wie gehst du mit Tickets mit hohem Risiko um? Eine einzelne Änderung hat bei uns 50 bereitgestellte Server lahmgelegt, und Ben Miller aus unserem Team hat fünf Tage lang je 14 Stunden an der Reparatur gearbeitet. Aus einem Video liest du ab, was ein Nutzer sieht. Was in der Infrastruktur passiert, bleibt darin verborgen. Solche Änderungen brauchen weiterhin Menschen mit Code-Kenntnis und mehrere Quality Gates davor. Wie viele Schichten automatischer Prüfung vor dem Menschen reichen, haben wir noch nicht entschieden.
Review nach Risiko macht aus dem Flaschenhals eine Entscheidung
Das nehmen wir mit:
- Risikostufe vor dem Review: Jede Änderung bekommt eine Stufe, im Zweifel die höhere.
- Video statt Diff bei geringem Risiko: Ein Mensch schaut kurz hin und gibt frei.
- Vorher-nachher als Standard: Jede Änderung zeigt, was sich für den Nutzer ändert.
- Hohes Risiko bleibt Handarbeit: Dort wird der Code gelesen, mit Quality Gates davor.
- Der Mensch behält die Entscheidung: Die Automatik wählt aus, was er sieht.
Dein nächster Schritt: das Video ansehen
Den ganzen Ablauf erklärt Philipp Göllner in seinem Vortrag Building The Chief of Staff Agent 80x Faster in der IT Revolution Video Library: die Vorher-nachher-Videos und die risikobasierte Freigabe erklärt er in der zweiten Hälfte. Weitere Stationen unserer Reise findest du auf der AI World Tour.



