Zum Inhalt springen

Wissen04 von 14

Wie prüft man, was ein Agent ausgeführt hat?

Thema
KALKÜL
Lesezeit
3 Min.
Erstfassung
Stand
Bauplan
Auf dieser Seite
  1. 01Absicht, Aufruf und Wirkung sind verschieden
  2. 02Welche Spur für die Prüfung nötig ist
  3. 03Ein prüfbares Verfahren festlegen
  4. 04Gezielt den falschen Weg versuchen
  5. 05Was sich heute untersuchen lässt
  6. 06Schema
  7. 07Grenze und Regel
  8. 08Fragen
  9. 09Quellen
  10. 10Verwandte Seiten

Die Ausführung eines Agentensystems prüft man am tatsächlichen Ergebnis im Zielsystem und an einer nachvollziehbaren Spur der ausgeführten Schritte. Ein überzeugender Abschlussbericht oder eine erfolgreiche Werkzeugantwort allein genügt dafür nicht.

Absicht, Aufruf und Wirkung sind verschieden

Ein Agent kann melden, dass er eine Aufgabe erledigt habe, obwohl nur ein Entwurf entstand. Ein Werkzeug kann einen Aufruf annehmen, während die Verarbeitung erst später scheitert. Trennen Sie deshalb den beauftragten Zustand, den technischen Aufruf und die bestätigte Wirkung im Zielsystem.

Ein Zustand soll von offen auf geprüft wechseln. Ein belastbarer Nachweis liest den betroffenen Datensatz nach der Änderung erneut. Er prüft Objektkennung, neuen Zustand und mögliche zusätzliche Änderungen. Ein HTTP-Erfolgscode erklärt nur das Ergebnis des betreffenden Aufrufs, nicht automatisch den ganzen Geschäftsvorgang.

Welche Spur für die Prüfung nötig ist

Erfassen Sie Auftrag, ausführende Kennung, Werkzeug, betroffene Ressource und Zeitpunkt. Dazu gehören ein Verweis auf die Entscheidung und das Ergebnis der Ausführung. Ein gemeinsamer Vorgangsbezug verbindet Aufrufe, die über mehrere Dienste verteilt sind. So kann eine prüfende Person Ursache und Folge zusammen ansehen.

Schreiben Sie nicht ungeprüft alle Eingaben in ein Protokoll. Zugangsschlüssel und vertrauliche Inhalte gehören nicht in eine allgemeine Fehlerspur. OWASP empfiehlt eine zweckbezogene Protokollierung mit Schutz gegen unbefugte Änderung und Einsicht. Die Prüfbarkeit muss deshalb schon beim Entwurf mit Datenhaltung und Zugriff zusammengedacht werden.

Ein prüfbares Verfahren festlegen

Bestimmen Sie vor dem Lauf das Abschlusskriterium. Beschreiben Sie, welche Quelle den Ausgangszustand liefert und welcher unabhängige Leseweg den Zielzustand bestätigt. Bei mehreren Schritten muss klar sein, welche Zwischenstände zulässig sind und welcher Zustand einen Abbruch auslöst.

Ein nützliches Prüfprotokoll nennt Version, Eingabe, erwartetes Ergebnis, beobachtetes Ergebnis und Grenzen. Das macht einen Test wiederholbar. Es verhindert auch eine häufige Verwechslung: Ein grüner Test der Prüffunktion beweist noch nicht, dass die produktive Anwendung diese Funktion an jedem Schreibweg tatsächlich aufruft.

Gezielt den falschen Weg versuchen

Eine positive Probe zeigt, dass der gewünschte Fall funktioniert. Eine Negativprobe prüft, ob ein unerlaubter Fall abgewiesen wird. Versuchen Sie beispielsweise einen anderen Objektbezug, eine abgelaufene Erlaubnis oder die Wiederholung einer bereits verbrauchten Freigabe. Prüfen Sie danach auch, ob der unerlaubte Versuch den Zustand unverändert ließ.

Bei Agenten muss die Bewertung zusätzlich das beobachtete Verhalten betrachten. Ein korrektes Endergebnis kann mit unerlaubten Zwischenschritten erreicht worden sein. Umgekehrt kann ein sicherer Abbruch fachlich richtig sein, obwohl die Aufgabe offen bleibt. Diese Fälle brauchen getrennte Bewertungskriterien statt einer einzigen Erfolgszahl.

Was sich heute untersuchen lässt

Die SnapSite-Browser-Vorführung zeigt Freigabebindung, Wiederverwendung und eine prüfbare Hashkette. Die exportierbare Datei erklärt das Nachrechnen. Diese Mechanik eignet sich, um den Unterschied zwischen behaupteter und nachvollziehbarer Kontrolle sichtbar zu machen.

Sie ist kein Beweis für die Ausführung in einem angebundenen Kundensystem. Dort wären ein eigener Testgegenstand, eine konkrete Version und eine Prüfung des tatsächlichen Zielzustands nötig. KALKÜL steht für die geplante zusammenhängende Spur, AXON für die geplante Arbeit darin. Aussagen zu produktivem Betrieb bleiben bis zu solchen Nachweisen offen.

Schema

Soll: <objekt>.zustand == "geprüft"
1. Ausgangszustand über erlaubten Leseweg sichern
2. konkrete Handlung ausführen
3. Zielzustand erneut lesen
4. Objektbezug, Wirkung und Nebenwirkungen vergleichen
5. Version, Ergebnis und Grenze dokumentieren
Schema 1Schema mit Platzhaltern, keine echten Daten

Grenze

Grenze
Eine Protokollspur kann nur zeigen, was erfasst wurde. Sie beweist ohne zusätzliche Prüfung weder die Vollständigkeit der Erfassung noch die fachliche Richtigkeit einer Handlung.

Fragen

Beweist ein Protokoll, dass die Aufgabe richtig erledigt wurde?
Es belegt erfasste Ereignisse. Ob das gewünschte fachliche Ergebnis vorliegt, muss zusätzlich am Zielzustand und an festgelegten Kriterien geprüft werden.
Warum braucht man Negativproben?
Sie zeigen, ob verbotene oder fehlerhafte Fälle tatsächlich gesperrt werden. Ein Prüfer, der nur gute Fälle sieht, kann trotz einer offenen Umgehung grün melden.

Quellen

  1. OWASP: Logging Cheat SheetLebende Anleitung, gelesen am 15.10.2026. Inhalt, Schutz und Grenzen technischer Protokolle.
  2. Anthropic: Demystifying evals for AI agents09.01.2026. Tests mit Aufgaben, Bewertung, Endzustand und Ablaufspur; Herstellerperspektive.
  3. W3C: PROV Model Primer30.04.2013. Herkunft als Beziehung zwischen Daten, Tätigkeiten und Verantwortlichen.

Verwandte Seiten