Jede Änderung am Agenten läuft durch dieselben Testfälle.

Ein Testfall besteht aus einem Auftrag, einem Ausgangszustand, den erwarteten und den verbotenen Handlungen und den Regeln, nach denen bewertet wird. Der Ausgangszustand ist ein Schnappschuss einer Übungsumgebung der Ontologie: Objekte, Beziehungen, Rechte und Markierungen, wie sie der Auftrag voraussetzt.

Testdaten sind erfunden oder pseudonymisiert und enthalten keine echten personenbezogenen Daten. Kundendaten gehören nicht in Prompts und nicht in Testfälle. Testfälle liegen als Daten im Repository, mit Version und Prüfung wie Code, und die Pflichtfälle sind als solche gekennzeichnet.

Fälle decken fünf Gruppen ab: Aufgaben, die gelingen sollen; Aufgaben, die an der Grenze der Rolle enden müssen; Aufträge mit fehlenden oder widersprüchlichen Angaben, bei denen der Agent fragen oder anhalten soll; Eingangstexte mit eingebetteten Anweisungen; und Fälle, in denen der Zweck eine Eigenschaft sperrt.

Gemessen wird zuerst der Endzustand: Hat der Agent die Objekte so verändert, wie der Fall es verlangt, und nichts sonst? Das ist unabhängig vom Wortlaut einer Antwort und lässt sich exakt prüfen. Danach der Ablauf: Wurden die richtigen Werkzeuge in einer zulässigen Folge mit Argumenten aufgerufen, die das Schema erfüllen?

Die Rechtetreue zählt gesondert. Ein Aufruf außerhalb des Rechts ist ein Fehler, auch wenn die Laufzeit ihn abgelehnt hat, denn er zeigt, dass der Agent es versucht hat. Dazu gehören die Fälle mit Angriffen: Eingangstexte, die ihn zu einer verbotenen Handlung bringen wollen. Dafür gilt Null als Soll, keine Schwelle.

Freier Text, etwa eine Zusammenfassung, lässt sich nicht am Zustand prüfen. Dort bewertet ein zweites Sprachmodell nach einer festen Rubrik. Dieser Bewerter wird gegen das Urteil von Menschen an einer Stichprobe abgeglichen und nie über Handlungen entscheiden lassen, denn die prüft der Zustand. Kosten und Dauer, also Zahl der Aufrufe und der Token, laufen als Messgrößen mit.

Auch bei fest eingestellter Temperatur liefert ein Sprachmodell nicht bei jedem Aufruf dasselbe, schon wegen der Art, wie Anfragen zusammengefasst und Gleitkommazahlen verrechnet werden. AXON führt darum jeden Fall mehrfach aus und meldet den Anteil der bestandenen Läufe, nicht ein einzelnes Ergebnis. Zusätzlich zählt der Anteil der Fälle, die in jedem Lauf bestehen. Er zeigt, ob sich ein Agent auf einen Auftrag verlassen lässt.

Zwei Versionen werden Fall für Fall verglichen und nicht als Gesamtmittel. Für Anteile gibt AXON ein Vertrauensintervall an, und ein gepaarter Vergleich je Testfall zeigt, ob eine Verbesserung echt ist oder im Rauschen liegt. Wer eine Version freigibt, sieht die Fälle, die sich verschlechtert haben, mit dem Lauf, in dem es geschah.

Jede Änderung geht über einen Merge Request: Prompt, Werkzeugbeschreibung, Version des Sprachmodells, Version der Regeln, Kontextplan. Ein Bewertungslauf rechnet alle Testfälle gegen die Änderung und vergleicht mit der freigegebenen Version. Das Tor öffnet, wenn kein Pflichtfall schlechter ist und die übrigen innerhalb der Schwelle bleiben, die der Auftrag festlegt.

Die Freigabe zum Einsatz gibt eine berechtigte Person, die den Vergleich sieht. Wer den Agenten ändert, gibt ihn nicht selbst frei. Ein Wechsel des Sprachmodells, auch auf eine neuere Version desselben, gilt als Änderung und läuft durch dieselben Fälle. Der Agent nennt dazu die Version des Sprachmodells mit fester Bezeichnung und nicht eine bewegliche wie latest.

Die Bewertung endet nicht mit dem Einsatz. Das Protokoll des Betriebs zeigt, wo Agenten scheitern: abgelehnte Aufrufe, zurückgewiesene Freigaben, Rückfragen, Abbrüche. Jeder Fehler, der im Betrieb auffällt, wird nach der Klärung ein neuer Testfall, und die Menge wächst so mit der Erfahrung. Eine behobene Panne kommt dadurch nicht unbemerkt zurück.

Daten aus dem Betrieb gehen nur pseudonymisiert und mit passendem Zweck in einen Testfall; die Kontextkennungen im Protokoll erlauben, den Fall nachzubauen, ohne Inhalte zu kopieren. Läuft ein Agent, dessen Sprachmodell vom Anbieter verändert oder abgekündigt wird, fällt das beim nächsten Bewertungslauf auf und nicht erst an der Wirkung.