Vom Assistenten zum handelnden System
Ein Agent beantwortet nicht nur Fragen. Er zerlegt Ziele in Schritte, liest Repositories, startet Werkzeuge, erzeugt Code und reagiert auf Ergebnisse. Das beschleunigt Entwicklung, verbindet aber Modellfehler direkt mit realen Aktionen. Jede zusätzliche Fähigkeit – vom Paket-Download bis zum Deployment – vergrößert deshalb die Sicherheitsgrenze des Systems.
Prompt Injection wird zum Ausführungsrisiko
Manipulierte Anweisungen können in Issues, Dokumentation, Webseiten, Testdaten oder Quelltext-Kommentaren stecken. Ein Agent kann diesen Inhalt irrtümlich als Auftrag behandeln und Secrets lesen, schädliche Abhängigkeiten installieren oder Schutzprüfungen umgehen. Externe Inhalte müssen deshalb grundsätzlich als nicht vertrauenswürdige Daten gelten – nicht als ausführbare Instruktionen.
- Kontext und Befehle strikt trennen
- Werkzeugausgaben als untrusted behandeln
- Secrets nie in den Modellkontext geben
Least Privilege für Werkzeuge und Identitäten
Agenten sollten nur die Repositories, Befehle und Netzwerkziele erreichen, die für den aktuellen Auftrag nötig sind. Kurzlebige Zugangsdaten, schreibgeschützte Defaults und aufgabenspezifische Rollen reduzieren die Wirkung eines Fehlers. Build, Test und Analyse gehören in isolierte Umgebungen; produktive Deployments und sensible Daten bleiben getrennt.
- Kurzlebige, aufgabengebundene Credentials
- Sandbox für Code und Abhängigkeiten
- Netzwerkzugriffe explizit erlauben
Freigaben nach Wirkung statt nach Werkzeug
Nicht jeder Befehl braucht menschliche Bestätigung. Lesende Analyse und lokale Tests können automatisiert laufen; Änderungen an Abhängigkeiten, Zugriffsrechten, produktiven Daten oder Deployments benötigen verbindliche Kontrollpunkte. Entscheidend ist die mögliche Wirkung einer Aktion – nicht, ob sie harmlos formuliert wurde.
- Risikoklassen für Aktionen definieren
- Sensible Änderungen mit Vier-Augen-Prinzip
- Abbruchgrenzen und Budgets festlegen
Nachvollziehbarkeit macht Autonomie betreibbar
Ein sicherer Agent protokolliert Ziele, verwendete Werkzeuge, Eingaben, Ergebnisse und Freigaben manipulationsgeschützt. Änderungen durchlaufen weiterhin Code Review, Tests, SAST, Dependency- und Secret-Scanning. So bleibt jede Entscheidung rekonstruierbar, Vorfälle lassen sich untersuchen und Teams können Regeln aus realem Verhalten gezielt verbessern.
- Vollständige Aktionsprotokolle
- Bestehende Secure-SDLC-Prüfungen beibehalten
- Agentenverhalten kontinuierlich evaluieren