Stand · Bauplan
Die geplante Bewertung vergleicht einen Agenten mit vorher festgelegten korrekten und unzulässigen Ergebnissen. Prüfen Sie dabei den ganzen Auftrag einschließlich Werkzeugen, Abbruch und Übergabe, statt nur die Formulierung einer Antwort zu beurteilen.
Die Entscheidung vor dem Versuch festlegen
Wählen Sie einen abgegrenzten Arbeitsvorgang und schreiben Sie auf, was ein fachlich richtiges Ergebnis ausmacht. Trennen Sie inhaltliche Richtigkeit, belegte Herkunft und zulässige Wirkung. Eine sprachlich überzeugende Rückfrage kann sachlich falsch oder an den falschen Empfänger gerichtet sein. Benennen Sie die verantwortliche Fachperson und legen Sie fest, welche Fehler einen Einsatzversuch ausschließen. Dieser Maßstab soll vor den beobachteten Ergebnissen stehen.
Normale Fälle und Angriffe aufnehmen
Erstellen Sie Fälle mit vollständigen Quellen, fehlenden Angaben und widersprüchlichen Dokumenten. Ergänzen Sie Anweisungen, die in einer Quelle stehen und den Auftrag verändern wollen. Prüfen Sie außerdem gesperrte Zielobjekte, abgelaufene Freigaben und doppelte Ausführungsversuche. Jeder Fall braucht ein erwartetes Verhalten. Ein berechtigtes Anhalten kann richtig sein, auch wenn kein fertiger Entwurf entsteht. Der Umfang des Fallsatzes wird mit dem jeweiligen Einsatz vereinbart.
Version und Beobachtung erhalten
- Halten Sie Auftrag, Modellstand, Werkzeuge und Regeln des Versuchs fest.
- Führen Sie die vorbereiteten Fälle in einer getrennten Testumgebung aus, sobald diese gebaut ist.
- Vergleichen Sie beobachtetes Ergebnis und erwartete Wirkung.
- Bewahren Sie Fehler und notwendige menschliche Korrekturen als eigene Befunde auf.
Ändern Sie nach einem Fehlschlag nicht still den Maßstab. Eine bewusste Änderung braucht eine erklärte neue Bewertungsfassung.
Den Einsatzumfang aus dem Befund ableiten
Die Originalquelle verlangt eine Messung in echten Fällen und eine schriftliche Erlaubnis, bevor mehr Verantwortung übertragen wird. Ein bestandener Test entbindet das Haus nicht von dieser Entscheidung. Beschreiben Sie deshalb den tatsächlich geprüften Umfang und alle ungeprüften Varianten. Nach Änderungen an Quellen, Werkzeugen oder Regeln sind betroffene Fälle erneut nötig. Prozentwerte oder Qualitätsversprechen ohne belastbaren Fallsatz gehören nicht in das Ergebnis.
Schema
prueffall: <prueffall>
aufgabe: <aufgabe>
eingabe: Quelle_mit_widerspruechlicher_Kennung
erwartung:
wirkung: keine
ergebnis: Widerspruch_mit_Fundstellen
uebergabe: Fachperson
beobachtung: separat_erfassenGrenze
- Grenze
- Eine automatisierte AXON-Bewertungsumgebung ist nicht belegt. Das Beispiel ist ein geplanter Prüfvertrag und enthält keine bereits erzielten Erfolgszahlen.