KI-Governance im Mittelstand: KI-Agenten sicher steuern

Ein Wissensassistent beantwortet eine Frage falsch. Das ist ärgerlich. Ein Agent bucht daraufhin eine Gutschrift, ändert einen Liefertermin oder verschickt eine Nachricht an einen Kunden. Damit wird aus einem Qualitätsproblem ein Geschäftsrisiko. KI-Governance legt fest, wer dieses Risiko übernimmt und wie der Betrieb kontrolliert wird.

Worum es geht: die Kurzfassung

• KI-Governance ist ein Betriebsmodell. Es verbindet Verantwortlichkeiten, Berechtigungen, Qualitätskontrolle und Incident-Prozess über den gesamten Lebenszyklus eines KI-Systems.
• Die AI-Literacy-Pflicht aus Artikel 4 des EU AI Act gilt seit dem 2. Februar 2025. Die EU-Kommission nennt den August 2026 als Beginn der behördlichen Aufsicht und Durchsetzung.
• Ein KI-Inventar allein reicht nicht. Jeder produktive Agent braucht einen fachlichen Eigentümer, erlaubte Aktionen, Freigabegrenzen und einen dokumentierten Abschaltweg.
• Die Eingriffstiefe bestimmt die Kontrolle. Ein lesender Wissensagent braucht weniger Sicherungen als ein Agent, der im ERP schreibt oder außenwirksam kommuniziert.
• Protokollierung und regelmäßige Prüfung gehören in den Betrieb. Das BSI empfiehlt, Anfragen und Zugriffe geeignet zu protokollieren, auf Anomalien zu untersuchen und die korrekte Funktion anhand festgelegter Metriken zu prüfen.

Was ist KI-Governance im Unternehmen?

KI-Governance bezeichnet die Regeln, Rollen und technischen Kontrollen, mit denen ein Unternehmen KI auswählt, freigibt, betreibt und wieder abschaltet. Sie beantwortet fünf praktische Fragen: Wofür wird das System eingesetzt? Auf welche Daten greift es zu? Was darf es ausführen? Wer trägt die Verantwortung? Woran wird ein Fehler erkannt?

Der vorhandene Beitrag zu EU AI Act und DSGVO für KI-Agenten ordnet Risikoklassen, Datenschutz und regulatorische Pflichten ein. Governance beginnt danach. Sie übersetzt Anforderungen und interne Risikoentscheidungen in den Arbeitsalltag.

Ein Beispiel: Der Einkauf darf einen Agenten Liefertermine aus dem ERP lesen lassen. Für die Änderung einer Bestellung braucht derselbe Agent eine Freigabe. Eine neue Bankverbindung darf er niemals selbst bestätigen. Diese Abstufung ist keine juristische Formulierung, sondern eine konkrete Systemberechtigung.

Der Bitkom-Leitfaden zu Trustworthy & Responsible AI behandelt Sicherheit, Erklärbarkeit, Fairness und Governance deshalb entlang des gesamten KI-Lebenszyklus. Ein einmaliger Freigabeworkshop vor dem Start deckt diesen Lebenszyklus nicht ab.

Warum brauchen KI-Agenten strengere Regeln als Chatbots?

Ein KI-Agent verbindet Modellantworten mit Werkzeugen und Unternehmenssystemen. Er liest Daten, plant Arbeitsschritte und löst Aktionen aus. Dadurch hängt das Risiko weniger von der Eloquenz der Antwort ab als von Reichweite, Berechtigung und Umkehrbarkeit einer Aktion.

Vier Eigenschaften erhöhen die Anforderungen an die Governance:

• Systemzugriff: Der Agent liest ERP, CRM, Postfach, DMS oder PIM und kombiniert Informationen über Systemgrenzen hinweg.
• Schreibrechte: Er legt Datensätze an, ändert Status, erstellt Buchungen oder stößt Workflows an.
• Außenwirkung: Antworten, Angebote und Entscheidungen erreichen Kunden, Lieferanten oder Bewerber.
• Wiederholung: Ein Fehler betrifft nicht nur einen Dialog. Er kann denselben falschen Schritt bei vielen Vorgängen ausführen.

Deshalb genügt es nicht, den Systemprompt zu prüfen. Governance muss auch API-Schlüssel, Rollen, Tool-Aufrufe, Toleranzregeln, Warteschlangen und die Rücknahme fehlerhafter Aktionen erfassen. Wie solche Agenten in Geschäftsprozessen arbeiten, zeigt der Überblick zu KI-Agenten im Mittelstand.

Welche Handlungsstufen sollte ein Unternehmen unterscheiden?

Die Kontrolle sollte mit der Handlungsfähigkeit steigen. Für die Praxis verwenden wir fünf Dagentic-Handlungsstufen. Sie ordnen einen Agenten nach seiner höchsten erlaubten Aktion ein, unabhängig vom verwendeten Modell oder Produktnamen.

Ein Agent kann mehrere Funktionen besitzen. Für die Governance zählt die höchste Stufe. Ein Service-Agent, der meistens nur recherchiert, aber in Ausnahmefällen Gutschriften bucht, gehört nicht in Stufe 1.

Die Handlungsstufe ersetzt keine rechtliche Risikoklasse. Sie ergänzt sie um eine betriebliche Perspektive. Zwei Anwendungen können regulatorisch ähnlich eingeordnet sein und trotzdem ein sehr unterschiedliches Schadenspotenzial haben: Eine falsche interne Zusammenfassung lässt sich korrigieren, eine versandte Zahlungsanweisung deutlich schwerer.

Was gehört in den Agentenpass?

Der Agentenpass ist ein einseitiger Steckbrief für jedes produktive KI-System. Er schafft eine gemeinsame Referenz für Fachbereich, IT, Datenschutz und Geschäftsführung. Bei einer Störung zeigt er, was der Agent durfte, welche Version lief und wer entscheiden muss.

Ein brauchbarer Agentenpass enthält:

Der Pass sollte keine 30-seitige Verfahrensbeschreibung werden. Technische Details bleiben in Architektur- und Betriebsdokumentation. Auf der einen Seite stehen die Entscheidungen, die bei Freigabe, Änderung und Störung sofort gebraucht werden.

Wer trägt welche Verantwortung?

Die Fachverantwortung gehört zum Eigentümer des Geschäftsprozesses. Die IT verantwortet Integration und Betrieb. Datenschutz, Informationssicherheit und gegebenenfalls der Betriebsrat prüfen ihre jeweiligen Bereiche. Die Geschäftsführung setzt den Risikorahmen und entscheidet über Anwendungen mit erheblicher Außenwirkung.

In einem kleineren Unternehmen darf eine Person mehrere Rollen ausfüllen. Eine Grenze bleibt sinnvoll: Wer eine neue außenwirksame Berechtigung technisch einbaut, sollte sie nicht allein fachlich freigeben. Für Änderungen an Stufe 4 braucht es eine zweite verantwortliche Person.

Welche Kontrollen gehören vor den Go-live?

Vor dem produktiven Start müssen Zweck, Testfälle, Rechte und Eskalationen feststehen. Eine hohe Antwortqualität in einer Demo ersetzt keinen Test der Systemaktionen. Entscheidend sind Grenzfälle: fehlende Daten, widersprüchliche Belege, manipulierte Eingaben und ausgefallene Schnittstellen.

Ein kompaktes Freigabegate umfasst:

1. Use Case und Grenze: Zweck, Zielgruppe und ausdrücklich ausgeschlossene Aufgaben dokumentieren.
2. Datenprüfung: Quellen, Rechtsgrundlage, Datenklassen, Löschung und Drittanbieter erfassen.
3. Berechtigungsprüfung: Für jedes Tool Lese-, Schreib- und Löschrechte festlegen. Servicekonten erhalten nur den minimal nötigen Umfang.
4. Testkorpus: normale Fälle, bekannte Fehler, Mehrdeutigkeit und Angriffsversuche mit erwarteten Ergebnissen hinterlegen.
5. Freigabelogik: Grenzwerte, Unsicherheit, Sonderkunden und rechtlich relevante Fälle an benannte Personen leiten.
6. Beobachtbarkeit: Tool-Aufrufe, Regelentscheidung, Modell- und Promptversion sowie Endergebnis protokollieren.
7. Rücknahme: Schreibvorgänge rückgängig machen oder stoppen können. Der Abschaltweg wird praktisch getestet.

Die EU-Kommission nennt für Hochrisiko-Systeme unter anderem Aktivitätsprotokolle, Dokumentation, menschliche Aufsicht, Robustheit und Cybersicherheit. Auch bei typischen Agenten außerhalb dieser Kategorie bilden dieselben Mechanismen eine vernünftige Betriebshygiene. Der Umfang darf kleiner sein, die Grundfragen bleiben.

Wie sieht Monitoring im laufenden Betrieb aus?

Monitoring prüft fachliche Ergebnisse und technische Ereignisse. Uptime und API-Fehler reichen nicht. Ein Agent kann technisch erreichbar sein und trotzdem häufiger falsche Artikel zuordnen, zu viele Fälle eskalieren oder unbemerkt auf veraltetes Wissen zugreifen.

Das BSI empfiehlt für KI-Systeme, Anfragen und Zugriffe geeignet zu protokollieren, Protokolldaten auf Anomalien zu untersuchen und die korrekte Funktion regelmäßig anhand passender Metriken zu kontrollieren. Daraus ergeben sich vier Ebenen:

• Technik: Verfügbarkeit, Laufzeit, Schnittstellenfehler und abgebrochene Tool-Aufrufe.
• Fachlichkeit: Trefferquote, Korrekturquote, Klärfallanteil und Fehler nach Falltyp.
• Handlung: Schreibvorgänge, Freigaben, Rücknahmen und versuchte verbotene Aktionen.
• Veränderung: Modell-, Prompt-, Datenquellen- und Regelversion pro Ergebnis.

Ein Dashboard ohne Reaktion ist wertlos. Für jede Kennzahl braucht es eine Schwelle und eine Maßnahme: beobachten, auf Vorschlagsbetrieb zurückschalten, einzelne Aktion sperren oder Agent vollständig deaktivieren. Nach einem Vorfall wird nicht nur der Prompt geändert. Testkorpus, Regel und Agentenpass werden gemeinsam aktualisiert.

Fachliche Qualitätswerte sollten zugleich in die Wirtschaftlichkeitsprüfung einfließen. Der Beitrag zum KI-ROI im Mittelstand zeigt, wie Dunkelverarbeitung, Bearbeitungszeit und Fehlerquote gemeinsam bewertet werden.

Wann ist Human-in-the-Loop mehr als ein Freigabeklick?

Menschliche Aufsicht wirkt nur, wenn der Prüfer Grund, Belege und mögliche Folgen erkennen kann. Eine Oberfläche, die lediglich „Akzeptieren“ anbietet, verlagert die Verantwortung und liefert kaum Kontrolle.

Eine substanzielle Freigabe zeigt mindestens:

• den vorgeschlagenen Schritt in klarer Sprache,
• die verwendeten Quellen oder Belege,
• erkannte Abweichungen und fehlende Informationen,
• den betroffenen Betrag, Kunden oder Lieferanten,
• die Regel, die zur Eskalation geführt hat,
• Alternativen wie ablehnen, korrigieren oder später erneut prüfen.

Human-in-the-Loop ist besonders wichtig, wenn eine Aktion erhebliche finanzielle, rechtliche oder personelle Folgen hat, die Daten widersprüchlich sind oder der Schritt kaum rückgängig gemacht werden kann. Wiederholt klare Standardfälle dürfen später enger automatisiert werden. Die Freigabestatistik liefert dafür die Grundlage.

Was passiert bei Modell- und Anbieterwechseln?

Ein Modellupdate ist eine fachliche Änderung, sobald es Entscheidungen beeinflusst. Gleiches gilt für neue Prompts, Werkzeuge, Datenquellen oder Schwellenwerte. Die Governance braucht deshalb Versionierung und einen abgestuften Regressionstest.

Vor einer Änderung sollten Betreiber festhalten:

• alte und neue Modell- oder Promptversion,
• Anlass und erwartete Wirkung,
• betroffene Handlungsstufe und Prozesse,
• Ergebnis des bestehenden Testkorpus,
• neue Fehlerbilder oder geänderte Eskalationsquote,
• Freigabe durch Fach- und Systemverantwortung.

Bei Stufe 0 oder 1 genügt häufig eine begrenzte Stichprobe. Änderungen an Agenten mit Schreib- oder Außenwirkung laufen zunächst wieder im Vorschlagsmodus. Damit wird ein Providerupdate nicht unbemerkt zum Prozessupdate.

Welche Rolle spielen AI Literacy und interne KI-Richtlinien?

Artikel 4 des EU AI Act verpflichtet Anbieter und Betreiber seit dem 2. Februar 2025 zu angemessenen Maßnahmen für KI-Kompetenz. Laut FAQ der EU-Kommission zur AI Literacy sollen Rolle, Vorkenntnisse, Nutzungskontext und betroffene Personengruppen berücksichtigt werden. Eine identische Präsentation für alle Beschäftigten greift daher zu kurz.

Eine interne Richtlinie sollte wenigstens klären:

• welche KI-Werkzeuge freigegeben sind,
• welche Daten nicht eingegeben werden dürfen,
• wann Ergebnisse geprüft und gekennzeichnet werden,
• wer neue Anwendungen anmeldet,
• wie Fehler oder Datenabfluss gemeldet werden,
• welche Schulung für Nutzer, Prüfer und Betreiber gilt.

Die allgemeine Schulung deckt Begriffe, Datenschutz und typische Fehler ab. Prozessverantwortliche brauchen zusätzlich die Regeln ihres Agenten. Operative Prüfer müssen erkennen, welche Belege eine Freigabe tragen. Technische Betreiber benötigen Kenntnisse zu Prompt Injection, Berechtigungen, Protokollierung und Incident Response.

Ab dem 2. August 2026 greifen zudem Transparenzpflichten aus Artikel 50 für bestimmte KI-Interaktionen und KI-generierte Inhalte. Die EU-Kommission erläutert den aktuellen Geltungsbeginn. Welche Kennzeichnung im konkreten Prozess erforderlich ist, gehört in den Agentenpass und sollte rechtlich geprüft werden.

Wie lässt sich KI-Governance ohne Großprojekt einführen?

Starten Sie mit den produktiven Systemen, nicht mit einer abstrakten Konzernrichtlinie. Inventar, Handlungsstufe und Agentenpass schaffen schnell Klarheit. Danach werden zuerst jene Lücken geschlossen, bei denen ein Agent schreiben, kommunizieren oder sensible Daten verarbeiten darf.

Vier Arbeitspakete reichen für den Einstieg:

1. Inventarisieren: Freigegebene und faktisch genutzte KI-Anwendungen sammeln. Verantwortliche und Anbieter ergänzen.
2. Einstufen: Pro Anwendung Datenklasse, Dagentic-Handlungsstufe und mögliche Außenwirkung festhalten.
3. Absichern: Agentenpass, minimale Rechte, Freigabe, Protokollierung und Abschaltung für die riskanteren Systeme umsetzen.
4. Betreiben: Stichproben, Änderungsprozess, Schulung und Vorfallübung in den normalen IT- und Prozessbetrieb aufnehmen.

Ein Wissensassistent ohne Systemrechte benötigt dabei weniger Dokumentation als ein Agent in der Auftrags- oder Rechnungsbearbeitung. Diese Verhältnismäßigkeit hält die Governance arbeitsfähig.

Häufige Fragen

Braucht jedes Unternehmen eine KI-Governance?
Sobald KI produktiv auf Unternehmensdaten zugreift oder Arbeitsergebnisse beeinflusst, braucht es mindestens ein Inventar, klare Verantwortliche und Nutzungsregeln. Der Umfang richtet sich nach Daten, Berechtigungen und möglichem Schaden.

Wer sollte einen KI-Agenten fachlich verantworten?
Der Eigentümer des betroffenen Geschäftsprozesses. Die IT verantwortet Technik und Betrieb, kennt aber nicht allein die zulässigen Entscheidungen, Toleranzen und Eskalationen im Einkauf, Vertrieb oder Rechnungswesen.

Was gehört in einen Agentenpass?
Zweck, Fachverantwortlicher, Systeme, Datenklassen, erlaubte und verbotene Aktionen, Freigabeschwellen, Modell und Anbieter, Protokollierung, Qualitätskennzahlen, Abschaltweg und nächster Prüftermin.

Wann ist Human-in-the-Loop erforderlich?
Wenn eine Entscheidung erhebliche finanzielle, rechtliche oder personelle Folgen hat, die Datenlage mehrdeutig ist oder eine Aktion kaum rückgängig gemacht werden kann. Die Freigabe muss den Entscheidungsgrund und die relevanten Belege zeigen.

Dürfen Prompts und Ausgaben vollständig protokolliert werden?
Nur im erforderlichen Umfang. Protokolle können personenbezogene Daten, Geschäftsgeheimnisse und Zugangsinformationen enthalten. Deshalb brauchen sie ein Berechtigungskonzept, definierte Aufbewahrungsfristen und gegebenenfalls eine Redaktion sensibler Inhalte.

Reicht eine allgemeine KI-Schulung für die AI-Literacy-Pflicht?
Eine Basisschulung ist ein Anfang. Die EU-Kommission verlangt angemessene Maßnahmen unter Berücksichtigung von Rolle, Kenntnissen, Einsatzkontext und betroffenen Personen. Mitarbeitende mit Freigaberechten brauchen daher anwendungsspezifische Unterweisung.

Der nächste sinnvolle Schritt

Listen Sie alle KI-Anwendungen auf, die heute Unternehmensdaten sehen oder Arbeitsergebnisse erzeugen. Markieren Sie pro System die höchste Handlungsstufe. Wenn bei einem Agenten ab Stufe 2 kein fachlicher Eigentümer, kein Freigabepfad oder kein Abschaltweg benannt ist, liegt dort die erste Governance-Aufgabe.

Wenn Sie Ihre Agenten und Automatisierungen in ein schlankes Betriebsmodell überführen möchten, vereinbaren Sie ein Beratungsgespräch. Wir verbinden Prozess, Berechtigung und Monitoring so, dass Governance im Tagesgeschäft funktioniert und nicht als Ablageordner endet.

Methodik: Recherche KI-gestützt, redaktionell verantwortet von Tobias Egner. Regulatorische und sicherheitstechnische Aussagen wurden anhand der aktuellen Informationen der EU-Kommission zum AI Act, der EU-Kommission zu AI Literacy, des BSI zu Herausforderungen und Maßnahmen für KI-Systeme und des Bitkom-Leitfadens zu Responsible AI abgeglichen; Stand 14. Juli 2026. Handlungsstufen und Agentenpass sind Dagentic-Arbeitsraster. Der Beitrag ersetzt keine Rechtsberatung.