Wie bewertet man einen Agenten?

Ein Agent kann einen überzeugenden Text liefern und dabei den Auftrag verfehlen. Beschreiben Sie deshalb das gewünschte Ergebnis als beobachtbaren Zustand: Ein Fall ist richtig eingeordnet, ein Entwurf nennt seine Belege oder eine unerlaubte Änderung bleibt aus. Die Bewertung braucht auch einen fachlich richtigen Abbruch als möglichen Ausgang.

Trennen Sie Ergebnisqualität und Regelbefolgung. Ein fachlich richtiges Ergebnis mit unerlaubtem Datenzugriff ist kein bestandener Gesamtlauf. Ein Agent, der bei fehlenden Rechten sauber stoppt, kann die Sicherheitsanforderung erfüllen, obwohl die Aufgabe offen bleibt. Ein einziges Durchschnittsurteil würde diesen Unterschied verdecken.

Ein Testsatz enthält Aufgaben, Eingaben, zulässige Werkzeuge und Bewertungskriterien. Wählen Sie Fälle aus dem tatsächlichen Einsatzbereich. Ergänzen Sie seltene, aber folgenreiche Situationen: fehlende Quellen, widersprüchliche Angaben, doppelte Aufrufe, fremde Anweisungen und entzogenes Recht. Kennzeichnen Sie konstruierte Beispiele als solche.

Bewahren Sie einen Teil der Fälle für spätere unabhängige Prüfung auf. Wenn jede Formulierung laufend auf denselben kleinen Satz angepasst wird, misst das Ergebnis vor allem diese Anpassung. Dokumentieren Sie Zusammensetzung, Version und Auswahlgrenzen. Ohne diese Angaben lässt sich ein Testergebnis kaum auf neue Aufgaben übertragen.

Anthropic beschreibt Bewertungen mit konkreten Aufgaben, mehreren Durchläufen und unterschiedlichen Prüfern. Für den eigenen Entwurf ist entscheidend: Wo ein Zustand maschinell prüfbar ist, sollte er direkt geprüft werden. Ein weiterer Modellaufruf kann sprachliche Eigenschaften bewerten, ersetzt aber keine zuverlässige Prüfung eines Schreibvorgangs.

Ein Agent soll aus Belegen einen Entwurf erstellen. Prüfen Sie Objektbezug, richtige Quelle, fehlende Erfindungen und das Ausbleiben eines Versands. Betrachten Sie zusätzlich Werkzeugaufrufe und Nebenwirkungen. Die gespeicherte Ablaufspur macht Fehler erklärbar und verhindert, dass ein zufällig passendes Endergebnis einen gefährlichen Weg verdeckt.

Halten Sie Modell, Prompt, Werkzeugversionen und Testumgebung fest. Ändern sich mehrere Teile gleichzeitig, ist ein besseres Ergebnis schwer zuzuordnen. Vergleichen Sie neue Versionen unter möglichst gleichen Bedingungen und wiederholen Sie Aufgaben, wenn das System wechselnde Ergebnisse liefern kann.

Erfassen Sie neben Qualität auch Laufzeit, Werkzeugfehler und tatsächlichen Aufwand. Definieren Sie vorab, wann eine Verschlechterung die Übernahme stoppt. Prozentwerte brauchen einen passenden Nenner und eine ausreichend beschriebene Stichprobe. Kleine Tests sollten als Fallzahlen mit konkreten Fehlern berichtet werden, statt eine breite Zuverlässigkeitsbehauptung daraus abzuleiten.

AXON ist als Schicht der Agents geplant. Für eine belastbare Aussage zu ihrer Qualität bräuchte jeder konkrete Aufgabenbereich einen eigenen Testsatz. Ein Agent zur Quellenprüfung hat andere Kriterien als ein Agent, der einen Termin in einem Fremdsystem ändert. Ergebnisse dürfen nicht ungeprüft von einem Bereich auf den anderen übertragen werden.

Die vorhandene SnapSite-Kontrolle hat konkreten Quellcode und Tests für Freigaben und Kettenprüfung. Diese belegen einen abgegrenzten Mechanismus, keine allgemeine Agentenleistung. Diese Wissensbibliothek nennt deshalb keine erfundene Erfolgsquote und keine bereits gemessene Arbeitsersparnis. Die nächste belastbare Aussage entsteht aus einem versionierten Test mit offen gelegten Grenzen.