Dr. Armin U. Schmiegel

Das Problem

Generative KI erzeugt plausible Ergebnisse auf Basis von Wahrscheinlichkeiten. Ein KI-Agent geht einen Schritt weiter: Er nutzt Werkzeuge, verändert Dateien, ruft Daten ab, führt Code aus oder beauftragt weitere Agenten. Aus einer falschen Antwort kann so eine falsche Aktion werden.

Ein langer Prompt löst dieses Problem nicht. Regeln können missverstanden, widersprüchlich priorisiert oder ignoriert werden. Auch ein leistungsfähigeres Modell bleibt probabilistisch.

Nicht das Sprachmodell muss deterministisch werden. Der Prozess um das Modell muss so gestaltet sein, dass Handlungen begrenzt, Ergebnisse geprüft und Entscheidungen nachvollzogen werden können.

Von der Abkürzung zum Schaden

Ein Projektleiter erhält eine Testversion der Firmware und die Zugangsdaten. Aus Bequemlichkeit speichert er beides auf demselben Datenträger und übergibt ihn dem Kunden. Der Kunde verteilt die Testsoftware im guten Glauben auf weitere Anlagen. Es kommt zu Ausfällen.

Als Konsequenz wird der Prozess geändert: Berechtigungen begrenzen, Übergaben kontrollieren und Freigaben verankern.

Für KI-Agenten gilt dasselbe. Ein Agent sollte nur die Fähigkeiten erhalten, die für seinen konkreten Arbeitsschritt erforderlich sind.

Sieben Bausteine für sichere Agentic AI

• Bounded Execution und Sandboxing: Laufzeit, Ressourcen, Datenbereiche und Netzwerkzugriffe technisch begrenzen.
• Aufgabenspezifische Werkzeuge: Nur die Funktionen bereitstellen, die der Agent tatsächlich benötigt.
• Harte Regeln außerhalb des Modells: Verbote, Grenzwerte und Zustandsübergänge als Code oder Policy erzwingen.
• Messbare Quality Gates: Ergebnisse durch Tests oder lineare Programme prüfen – nicht durch die Selbstauskunft des Agenten.
• Safe State und Fallbacks: Bei Fehlern stoppen, isolieren, zurückrollen oder an einen Menschen eskalieren.
• Human-in-the-Loop und Overrule: Kritische Aktionen benötigen Freigaben und müssen jederzeit gestoppt werden können.
• Auditierbarkeit: Modelle, Prompts, Werkzeuge, Datenquellen, Prüfungen und Freigaben gemeinsam versionieren und protokollieren.

Determinismus richtig einsetzen

Variabilität ist beim Entwickeln von Ideen, Formulieren oder Bewerten von Alternativen nützlich. Sie ist bei Berechtigungen, Grenzwerten, Freigaben und Abnahmekriterien ein Risiko.

Ein belastbares System trennt deshalb drei Ebenen:

• Kreative Ebene: Das Modell darf unterschiedliche Lösungswege entwickeln.
• Prozessuale Ebene: Reihenfolge, Zuständigkeiten und erlaubte Aktionen sind festgelegt.
• Verifikationsebene: Reproduzierbare Tests entscheiden, ob ein Ergebnis akzeptiert wird.

Praxisbeispiel: Softwaremodul für ein Steuergerät

Ein Implementierungsagent arbeitet ausschließlich in einem isolierten Branch und in freigegebenen Dateien. Die Aufgabe enthält Anforderungs-ID, Story-ID, Akzeptanzkriterien und erlaubten Änderungsbereich. Unit-, SIL- und Regressionstests werden durch eine Pipeline ausgeführt. Code, Tests, Testprotokolle und Commit bleiben miteinander verknüpft. Erst nach vollständiger Definition of Done und bestandenem Quality Gate wird ein Pull Request erzeugt. Die endgültige Freigabe erfolgt durch einen Menschen.

Die KI beschleunigt Implementierung und Dokumentation. Sicherheit entsteht durch die Prozessarchitektur um die KI.

Prüffragen für Entscheider

• Ist der Handlungsraum jedes Agenten technisch begrenzt?
• Besitzt der Agent nur notwendige Werkzeuge und Datenzugriffe?
• Werden harte Regeln außerhalb des LLM durchgesetzt?
• Prüft ein unabhängiger Mechanismus das Ergebnis?
• Gibt es einen sicheren Zustand für Fehler und Widersprüche?
• Sind kritische Aktionen an menschliche Freigaben gebunden?
• Werden Kontext, Aktionen, Prüfungen und Freigaben vollständig protokolliert?

Für das vollständige Whitepaper senden Sie eine Mail an info@AIcodeIT.de

Wenn Sie mehr darüber wissen möchten, wie AIcodeIT die Anwendung von KI auch bei Ihnen sicher macht, vereinbaren Sie einen Termin für ein kostenloses Vorgespräch.