Human-in-the-Loop 2026: wie viel Autonomie darf ein KI-Agent haben (Mittelstand-Leitfaden)

Voll-autonomer KI-Agent klingt nach der Zukunft. Praktisch ist er 2026 in fast jedem Mittelstands-Use-Case der falsche Default. Die richtige Frage ist nicht, wie viel der Agent kann, sondern an welcher Stelle ein Mensch zwingend eingreifen muss, damit der Agent ueberhaupt produktiv geht. Hier ist das Autonomie-Spektrum in 4 Stufen, die 6 Achsen, die das Stufen-Level bestimmen, und 4 Anti-Pattern, die 2026 Vertrauen zerstoeren.

Ich (Sebastian) sehe in unseren Workshops fast woechentlich die gleiche Szene: Geschaeftsfuehrung will "den autonomen Agenten", IT will "den sicheren Agenten", Fachbereich will "den Agenten, der wirklich Arbeit abnimmt". Drei verschiedene Stufen, drei verschiedene Risiken. Wer das nicht trennt, baut entweder einen Agenten, der nichts darf, oder einen Agenten, der zu viel macht. Beides killt das Projekt.

Das 4-Stufen-Autonomie-Spektrum

Autonomie ist kein Schalter, sondern eine Skala. Diese 4 Stufen reichen in der Praxis aus, um die meisten Mittelstands-Use-Cases sauber zu klassifizieren.

Stufe	Was der Agent macht	Was der Mensch macht	Geschwindigkeit	Risiko
0	Vorschlag	entscheidet jeden Schritt	niedrig	sehr niedrig
1	Vorschlag mit Begruendung	prueft Reasoning + Output	niedrig	niedrig
2	Aktion nach Freigabe	gibt explizit frei	mittel	mittel
3	Aktion mit Eskalation	greift nur bei Trigger ein	hoch	hoeher

Stufe 0: Vorschlag

Der Agent macht einen Vorschlag, der Mensch entscheidet jeden einzelnen Schritt. Hoechste Sicherheit, niedrigste Geschwindigkeit. Default fuer Compliance-Themen, Finance, Investor-Kommunikation, alles mit externer Sichtbarkeit und ohne Rueckholbarkeit. Beispiel: KI schlaegt eine Formulierung fuer ein Bilanz-Pressestatement vor, CFO und Kommunikation bauen daraus den finalen Text.

Stufe 0 ist nicht "der Agent ist schlecht". Stufe 0 ist "die Konsequenz eines Fehlers ist zu teuer fuer Autonomie". Das ist eine Geschaeftsentscheidung, keine technische.

Stufe 1: Vorschlag mit Begruendung

Wie Stufe 0, aber mit nachvollziehbarem Reasoning. Der Mensch prueft die Begruendung, nicht nur den Output. Das ist der entscheidende Unterschied. Bei Stufe 0 fragst du dich "stimmt das Ergebnis". Bei Stufe 1 fragst du dich "passt der Weg dorthin zu unserem Geschaeft".

Default fuer HR-Pre-Screening (das ist High-Risk unter EU AI Act, dazu unten mehr), Kundenbeschwerden-Triage, Vertragsklauseln-Pruefung. Hier ist die Begruendung oft wichtiger als die Antwort, weil sie reviewbar und auditierbar ist.

Stufe 2: Aktion mit Mensch-Freigabe

Der Agent fuehrt die Aktion aus, aber erst nach expliziter Freigabe. Default fuer externe Kommunikation, Vertragsversand, Budget-Freigaben, alles mit Aussenwirkung. Hier sitzt der Hebel: ein Mensch, der wirklich prueft, ist der Unterschied zwischen "Agent spart Zeit" und "Agent verbrennt Vertrauen".

Wichtig: Stufe 2 ist nur dann Stufe 2, wenn die Freigabe eine echte Pruefung ist. Sonst landest du bei Anti-Pattern 2 (Rubber-Stamping, siehe unten).

Stufe 3: Aktion mit Mensch-Eskalation

Der Agent handelt autonom, eskaliert nur bei definierten Trigger-Bedingungen. Default fuer Standard-Tasks mit klarem Ziel, wo der Mensch im Ausnahmefall reicht. Beispiel: FAQ-Bot mit klaren Eskalationspfaden bei Beschwerden, Storno-Wunsch oder Themen ausserhalb der Wissensbasis.

Stufe 3 ist 2026 produktiv-faehig. Aber nur, wenn die Eskalations-Trigger sauber definiert sind und ein Eval-Set existiert. Ohne beides ist Stufe 3 ein Marketing-Versprechen.

Die 6 Achsen, die das Stufen-Level bestimmen

Welche Stufe richtig ist, leitest du nicht aus dem Bauch ab, sondern aus 6 Achsen. Pro Achse: wie hoch das Risiko, desto niedriger die zulaessige Stufe.

1. Reversibilitaet

Kann die Aktion zurueckgenommen werden? Eine versendete Mail an einen Grosskunden ist irreversibel. Ein Datenbank-Update mit Rollback-Log ist reversibel. Eine Zahlung ist halb-reversibel (Rueckbuchung moeglich, aber teuer).

Irreversibel = Stufe 0 oder 1. Punkt. Auch wenn der Agent zu 99 Prozent richtig liegt, ist ein irreversibler 1-Prozent-Fehler in externer Kommunikation oder Vertragsversand teuer.

2. Externe Sichtbarkeit

Sieht ein Kunde, Behoerde, Investor oder Lieferant das Ergebnis direkt? Wenn ja, ist die Reputationswirkung Teil der Risiko-Bewertung. Eine interne Notiz mit Tippfehler ist aergerlich. Eine Pressemitteilung mit Faktenfehler ist ein Vorfall.

Extern sichtbar = Stufe 0 bis 2. Stufe 3 nur, wenn die Fehlerklasse harmlos ist (FAQ-Antwort "ich weiss nicht, hier ist der Kontakt zum Support" ist harmlos).

3. Daten-Sensibilitaet

Sind die Daten personenbezogen, finanzkritisch, vertraglich oder enthalten sie Geschaeftsgeheimnisse? Personenbezug aktiviert DSGVO. Finanzdaten aktivieren Wirtschaftspruefer. Vertraege aktivieren Legal.

Sensibel = Stufe 0 oder 1. Plus separate Diskussion, welches Modell ueberhaupt zulaessig ist (Claude API und Claude for Work default no-training, ChatGPT Business und Enterprise default off, Gemini for Workspace und Gemini Enterprise Business/Standard/Plus default off; Gemini Enterprise Starter und Consumer-Editionen abweichend).

4. Regulatorische Klassifizierung

Faellt der Use-Case unter EU AI Act, ab 02.08.2026 voll wirksam fuer High-Risk-Systeme? Die High-Risk-Liste steht in Anhang III der Verordnung 2024/1689. Relevant fuer den Mittelstand: Nr. 4 (Beschaeftigung, also HR-Pre-Screening und Bewerber-Ranking), Nr. 5 b (Bonitaetspruefung und Kredit-Scoring fuer natuerliche Personen), biometrische Identifikation. Art. 14 schreibt fuer diese Systeme menschliche Aufsicht ("Human Oversight") verpflichtend vor.

High-Risk verlangt ab 02.08.2026 ein menschliches Gate pro Letzt-Entscheidung, also Stufe 2 als Maximum (Stufe 0 bis 2). Stufe 3, bei der nur Eskalationen einen Menschen erreichen und die Mehrheit der Faelle voll automatisch durchlaeuft, ist fuer Letzt-Entscheidungen ueber natuerliche Personen nicht zulaessig: Art. 14 verlangt wirksame menschliche Aufsicht, und DSGVO Art. 22 beschraenkt rein automatisierte Entscheidungen mit erheblicher Wirkung. Eine echte Stufe-2-Freigabe (ein Mensch prueft und gibt jeden Fall frei) ist dagegen zulaessig; konservativ empfehlen wir bei sensiblen HR- und Kredit-Faellen trotzdem Stufe 1.

5. Frequenz

Einzelfall oder Massenprozess? Bei 5 Vorgaengen pro Woche ist Stufe 0 (Mensch prueft jeden) machbar. Bei 5.000 Vorgaengen pro Woche zwingt die Frequenz zu hoeheren Stufen, sonst wird der Agent unproduktiv.

Massenprozesse rechtfertigen Stufe 3 plus Stichproben-Kontrolle (zum Beispiel 1 Prozent Random-Sample, plus alle Faelle mit Eskalations-Trigger). Aber: Frequenz darf die anderen Achsen nicht ueberstimmen. Massenversand von Bewerber-Absagen bleibt High-Risk, egal wie viele es sind.

6. Eval-Reife

Gibt es ein belastbares Test-Set mit historischen Faellen, auf dem du die Agent-Qualitaet misst? Ohne Eval-Set weisst du nicht, wie gut der Agent ist. Du glaubst es.

Kein Eval-Set = Stufe 0 oder 1, egal wie gut der Agent in der Demo wirkt. Ein Eval-Set entsteht typisch aus 50 bis 200 historischen Faellen, von Fachexperten gelabelt. Das ist die Eintrittskarte fuer Stufe 2 oder 3.

Die Trigger-Bedingungen fuer Stufe 3

Stufe 3 funktioniert nur mit klar definierten Eskalations-Triggern. Sonst macht der Agent in Unsicherheit einfach weiter und produziert leise Fehler. Drei Trigger gehoeren in jeden Stufe-3-Agenten.

Konfidenz-Schwelle. Der Agent gibt eine selbst-bewertete Konfidenz pro Antwort aus. Unterhalb einer Schwelle wird eskaliert. Typischer Pattern-Wert ist eine Schwelle bei etwa 80 Prozent, aber das ist kein Studien-Wert, sondern ein pragmatischer Startpunkt, den du gegen dein Eval-Set kalibrieren musst.

Out-of-Distribution-Erkennung. Wenn die Eingabe deutlich anders aussieht als die Trainings- oder Eval-Verteilung, eskaliere. Beispiel: FAQ-Bot bekommt eine juristische Drohung statt einer Produktfrage. Das ist out of distribution, der Mensch uebernimmt.

Wiederholungs-Schleife. Wenn der Agent in mehreren Versuchen die gleiche Sub-Aufgabe nicht loest (zum Beispiel ein Tool-Call schlaegt drei Mal fehl), eskaliere statt endlos zu retry-en. Sonst entstehen die typischen "Agent ist seit 4 Stunden im Loop"-Geschichten.

Diese drei Trigger ersetzen keine inhaltliche Qualitaetspruefung, sie sind die Sicherung darunter. Ein Agent mit guter Konfidenz auf falschem Inhalt eskaliert nicht (das ist der bekannte Halluzinations-Effekt). Deshalb gilt: Eskalations-Trigger plus laufendes Sampling der nicht-eskalierten Faelle, sonst entsteht ein blinder Fleck.

Konkrete Umsetzung im Code-Aufruf: jede Agent-Antwort liefert ein Tupel aus Output, Konfidenz und Reason-Code. Eskaliert wird in Slack, MS Teams oder eine Inbox-View, abhaengig vom internen Tool-Stack. Wichtig ist die Eskalations-Latenz unter 5 Minuten in Customer-facing Use-Cases, sonst wirkt der Agent stuhmm und der Kunde wartet.

4 Anti-Pattern, die 2026 Vertrauen zerstoeren

Diese vier sehe ich am haeufigsten. Alle vier toeten Mittelstands-Projekte, nicht weil die Technik versagt, sondern weil die Stufen-Entscheidung falsch war.

Anti-Pattern 1: Stufe 3 ohne Eval-Set. "Der Agent ist gut, glaube ich." Ohne Eval-Set ist Stufe 3 ein Gluecksspiel mit Reputations-Einsatz. Erkennungs-Merkmal: niemand im Projekt kann sagen, wie hoch die Fehlerquote bei produktiv-realistischen Eingaben ist. Heilung: zurueck auf Stufe 1, Eval-Set bauen, dann hochstufen.

Anti-Pattern 2: Mensch-Freigabe als reine Klick-Pflicht. Stufe 2 mit Rubber-Stamping. Der Mensch klickt "freigeben" innerhalb von 2 Sekunden, ohne den Output wirklich zu pruefen. Erkennungs-Merkmal: durchschnittliche Pruefzeit unter 10 Sekunden bei nicht-trivialen Outputs. Heilung: Freigabe-UI mit aktiver Pruef-Pflicht (Checkbox-Liste der Pruefpunkte, Reason-for-Approval-Feld), Random-Audit der Freigaben.

Anti-Pattern 3: Keine Eskalations-Schwellen definiert. Stufe 3 ohne Trigger. Der Agent macht bei Unsicherheit weiter, produziert leise Fehler, niemand merkt es bis zur Eskalation durch den Kunden. Erkennungs-Merkmal: kein Schwellwert in der Konfiguration, kein Out-of-Distribution-Check, keine Wiederholungs-Schleife. Heilung: drei Trigger einbauen (Konfidenz, OOD, Repeat), Eskalations-Loop sauber definieren.

Anti-Pattern 4: Stufe 0 fuer Massenprozesse. Falsch-Verwendung der Sicherheit. Wenn du 5.000 Rechnungen pro Monat pruefen muesstest und der Agent auf Stufe 0 jeden Vorschlag manuell genehmigt, hast du das Produktivitaetsversprechen weggespielt. Erkennungs-Merkmal: Time-Saved-Bilanz nach 4 Wochen ist null oder negativ. Heilung: Stufen-Re-Evaluation, Hochstufung auf 2 oder 3 mit Eval-Set, Stichproben statt Vollkontrolle.

Wie du fuer einen Use-Case das richtige Stufen-Level findest

Der Entscheidungsweg ist immer der gleiche, in dieser Reihenfolge.

Erst durch die 6 Achsen. Pro Achse die zulaessige Maximal-Stufe notieren. Das Minimum gewinnt. Wenn eine Achse Stufe 1 fordert (zum Beispiel ein irreversibler Schritt oder ein fehlendes Eval-Set), ist die Gesamt-Stufe maximal 1, egal was die anderen Achsen sagen.

Dann Anti-Pattern-Check. Hast du ein Eval-Set? Sind die Eskalations-Trigger sauber definiert? Wenn nein, eine Stufe runter, bis die Voraussetzungen stimmen.

Dann Stufen-Empfehlung. Drei konkrete Mittelstands-Beispiele:

• Rechnungspruefung (eingehende Lieferantenrechnungen, Pruefung gegen Bestellung und Wareneingang): finanzkritisch, intern sichtbar, mittel-frequent, reversibel ueber Buchungs-Storno, kein High-Risk-System unter EU AI Act, Eval-Set machbar aus historischen Faellen. Empfehlung Stufe 2: Agent pruefe, Buchhalter gibt frei. Bei klarem Match autonomes Buchen denkbar (Stufe 3) mit Stichproben.
• Bewerber-Pre-Screening (CV-Bewertung gegen Anforderungsprofil): personenbezogen, extern sichtbar (Absage geht raus), reversibel begrenzt (Reputations-Risiko), Anhang III Nr. 4 also High-Risk, ab 02.08.2026 Art. 14 Pflicht. Empfehlung Stufe 1, hart. Vorschlag mit Begruendung, HR entscheidet jede Absage und jede Einladung selbst.
• Kunden-FAQ-Bot (Standard-Antworten zu Produkt-Fragen, Versand, Retouren): intern und extern sichtbar, weitgehend reversibel (Folgemail moeglich), kein High-Risk, hoch-frequent, Eval-Set baubar aus alten Tickets. Empfehlung Stufe 3 mit Eskalations-Triggern (Beschwerde-Keyword, Storno, Out-of-Distribution-Frage, Konfidenz unter Schwelle).

Pragma fuer den ersten Use-Case: starte bewusst eine Stufe niedriger als das Achsen-Minimum erlaubt. Das gibt dir vier Wochen Echt-Daten, ein gefuelltes Eval-Set und Vertrauen im Team. Dann hochstufen mit Datenbasis. Wer direkt auf der maximal erlaubten Stufe startet, hat kein Sicherheitsnetz fuer den Fall, dass die Demo-Performance nicht in der Realitaet ankommt. Diese eine Stufe Reserve ist die guenstigste Versicherung im ganzen Projekt.

Das Stufen-Level ist keine Einmal-Entscheidung. Plane einen festen Review nach 4, 12 und 26 Wochen ein, bei dem die 6 Achsen neu bewertet werden. Achsen wie regulatorische Klassifizierung koennen kippen (neue Anhang-III-Auslegung), Eval-Reife waechst mit Datenmenge, Frequenz aendert sich mit Skalierung des Use-Cases.

Wo der EU AI Act Stufen-Level vorschreibt

Der EU AI Act (Verordnung 2024/1689) wird ab 02.08.2026 fuer High-Risk-Systeme voll wirksam. Anhang III listet diese Systeme. Drei davon sind im Mittelstand relevant:

• Nr. 4 Beschaeftigung: Rekrutierung, Bewerber-Pre-Screening, Performance-Bewertung, Befoerderungs-Entscheidungen, Kuendigungs-Entscheidungen.
• Nr. 5 b Bonitaet: Bonitaets- und Kreditwuerdigkeits-Pruefung natuerlicher Personen (nicht juristischer Personen).
• Biometrische Identifikation: Real-Time-Identifikation, nachgelagerte Identifikation, Emotionserkennung in bestimmten Kontexten.

Fuer diese Systeme gilt Art. 14 (Human Oversight). Praktisch bedeutet das: ein Mensch muss in der Lage sein, das Ergebnis zu verstehen, zu hinterfragen, zu ueberstimmen und das System notfalls abzuschalten. Vollautomatische Letztentscheidung ist dort nicht zulaessig. Ein menschliches Gate pro Letzt-Entscheidung (Stufe 0 bis 2) ist ab 02.08.2026 keine Option, sondern Pflicht; rein automatisierte Letzt-Entscheidungen mit erheblicher Wirkung sind zusaetzlich durch DSGVO Art. 22 beschraenkt.

Bussgeldstaffel zur Einordnung: bis zu 35 Millionen Euro oder 7 Prozent des weltweiten Jahresumsatzes gilt nur fuer Art. 5 (verbotene Praktiken). Fuer High-Risk-Verstoesse sind es bis zu 15 Millionen oder 3 Prozent. Fuer falsche Behoerden-Information bis zu 7,5 Millionen oder 1 Prozent.

Das Bussgeld ist allerdings selten der eigentliche Schaden. Der eigentliche Schaden bei einem regulierten Use-Case ist meist der Stillstand: ein BR-Veto, eine DSGVO-Pruefung der Aufsichtsbehoerde, eine Kunden-Klage. Wer ein menschliches Gate pro Entscheidung (Stufe 0 bis 2) fuer High-Risk-Systeme einplant, vermeidet nicht nur Bussgelder, sondern haelt das Projekt operativ am Laufen.

Wer mehr dazu lesen will: wir haben die Art-50-Transparenzpflicht separat aufgearbeitet, siehe AI Act Art. 50 Transparenzpflicht. Fuer die Haftungs-Diskussion bei Halluzinationen siehe Wer haftet bei KI-Agent-Halluzinationen.

FAQ

Ist Stufe 3 in 2026 ueberhaupt produktiv-faehig? Ja, fuer klar abgegrenzte Use-Cases mit Eval-Set, Eskalations-Triggern und nicht-regulierten Domaenen. FAQ-Bots, einfache Klassifikation, Code-Vervollstaendigung, Standard-Recherche. Fuer alles mit externer Sichtbarkeit, Personenbezug oder regulatorischer Klassifizierung gilt Stufe 0 bis 2.

Wer entscheidet das Stufen-Level? Drei Stimmen muessen zustimmen: Fachbereich (was ist der Nutzen), Compliance/Legal (was sagt Regulierung und Vertrag), IT/Security (was ist technisch sicher absicherbar). Geschaeftsfuehrung entscheidet bei Dissens. Wenn diese drei Stimmen fehlen, baust du ein Schatten-Projekt.

Wie messe ich, ob ich die Stufe wechseln kann? Mit dem Eval-Set. Definiere vorab eine akzeptable Fehlerquote pro Fehlerklasse (zum Beispiel "False-Positive unter 2 Prozent, False-Negative unter 5 Prozent"). Erreicht der Agent das auf dem Test-Set ueber 4 Wochen stabil, kannst du hochstufen. Sonst nicht. Bauchgefuehl reicht hier nicht.

Was, wenn der Wirtschaftspruefer fragt? Du brauchst ein dokumentiertes Stufen-Modell pro Use-Case, ein Eval-Set mit historischen Faellen, ein Audit-Log der Agent-Entscheidungen und der menschlichen Freigaben, sowie eine Eskalations-Statistik. Das ist nicht aufwendiger als ein normales IKS-Setup, muss aber existieren. Ohne diese vier Artefakte ist jedes Audit-Gespraech schwierig.

Was ist mit der "Mensch im Loop" als reine PR-Aussage? Das ist Anti-Pattern 2 (Rubber-Stamping) auf C-Level. Wenn die Geschaeftsfuehrung "wir haben Mensch im Loop" sagt, aber operativ niemand wirklich prueft, ist das schlechter als ehrliche Stufe 3. Stufe 3 mit Trigger ist messbar. Pseudo-Stufe-2 ist eine Luege, die im Audit auffaellt.

Weiterlesen

• Wie funktioniert ein KI-Agent (Loop, Tools, Memory, Planning)
• Was AI Agents NICHT koennen (Mittelstand 2026)
• KI im Kundenservice: was wirklich geht im Mittelstand
• Prompt Injection: wie du deinen KI-Agenten schuetzt
• AI Act Art. 50: Transparenzpflicht ab August 2026
• KI-Agent vs RPA vs klassische Automatisierung
• Erster KI-Agent: vom Use-Case zum Produktivbetrieb
• Wer haftet bei KI-Agent-Halluzinationen
• Vom KI-Piloten zum KI-Programm: Skalierung im Mittelstand
• KI-Vorstands-Agenda 2026: 8 Themen fuer die Vorstandssitzung

Quellen

• EU AI Act, Verordnung (EU) 2024/1689, Art. 14 (Human Oversight), Anhang III (High-Risk-Systeme), Art. 5 und Art. 99 (Bussgeldstaffel)
• McKinsey, "The State of AI", November 2025
• Bitkom, "KI in deutschen Unternehmen 2025"
• Gartner, Press Release zu Agentic AI, Juni 2025
• MIT NANDA, "State of AI in Business 2025"
• Sentient-Dynamics-Workshop-Aggregat (Mittelstands-Kunden, 2025-2026)

Wo Sentient Dynamics helfen kann

Wir helfen DACH-Mittelstaendlern, fuer jeden geplanten KI-Agent-Use-Case die richtige Autonomie-Stufe zu bestimmen, Eval-Sets aufzubauen und Eskalations-Trigger zu definieren. In Workshop-Form, mit konkretem Output: Stufen-Empfehlung pro Use-Case, Eval-Set-Plan, Anti-Pattern-Check.

Demo-Termin buchen