Stand · Bauplan
Beim Betrieb von Agenten muss man die Aufgabenergebnisse, die Werkzeugaufrufe, die Rechteentscheidungen und den technischen Zustand beobachten. Nur so lässt sich unterscheiden, ob ein System erreichbar ist, eine Aufgabe richtig erledigt oder gerade kontrolliert anhält.
Erreichbar bedeutet nicht erfolgreich
Ein Dienst kann laufen, während ein Agent an einer unbrauchbaren Quelle hängt oder immer denselben Schritt wiederholt. Eine technische Verfügbarkeitsanzeige würde dieses Problem übersehen. Die Betriebsansicht muss deshalb fragen, welche Aufgabe gerade bearbeitet wird, welchen Zustand sie erreicht hat und warum sie dort steht.
Beobachtbarkeit bedeutet, aus den ausgegebenen Signalen Fragen über das System beantworten zu können. OpenTelemetry unterscheidet dafür unter anderem Messwerte, Ereignisprotokolle und Ablaufspuren. Keine dieser Formen allein beschreibt die ganze Agentenarbeit. Für einen konkreten Einsatz müssen fachliche Zustände und technische Signale miteinander verbunden werden.
Vorgänge über Dienste hinweg verbinden
Begriff · Ereignis
Eine beobachtete Änderung mit Identität, Zeitpunkt und Herkunft. Doppelte oder verspätete Zustellung muss behandelt werden.
Ein Trace ist eine zusammenhängende Ablaufspur über mehrere technische Schritte. Ein Span beschreibt darin einen einzelnen Arbeitsabschnitt, etwa einen Quellenabruf. Ein Log hält ein Ereignis fest. Messwerte fassen Verhalten über einen Zeitraum zusammen. Gemeinsame Kennungen helfen, diese Ebenen wieder auf denselben Vorgang zu beziehen.
Angenommen, ein Vorgang wartet auf einen Werkzeugaufruf. Die Spur zeigt einen abgelaufenen Zugriffsnachweis, das Protokoll die verweigerte Handlung und der fachliche Zustand wartet auf Rechteklärung. Diese Kombination erklärt den Stillstand besser als ein allgemeiner Fehlerzähler. Sie macht auch sichtbar, ob eine automatische Wiederholung sinnvoll oder unerlaubt wäre.
Die Wirkung aus Sicht der Aufgabe messen
Begriff · Übergabe
Die explizite Übertragung eines Vorgangs mit Ziel, geprüften Ergebnissen, offenen Fragen und nächster zuständiger Stelle.
Ein abgeschlossener Modellaufruf ist keine erledigte Aufgabe. Erfassen Sie den erwarteten und bestätigten Zielzustand, nötige Übergaben und gescheiterte Voraussetzungen. Eine ausdrücklich richtige Ablehnung sollte von einem technischen Fehler unterschieden werden. Sonst belohnt die Betriebsansicht möglicherweise riskantes Weiterarbeiten statt kontrollierter Grenzen.
Berücksichtigen Sie Laufzeit, Werkzeugfehler, wiederholte Aufrufe und Ressourcenverbrauch. Wählen Sie Signale, aus denen eine zuständige Person eine Handlung ableiten kann. Eine Meldung ohne Gegenstand, Ursache und nächste Prüfung erzeugt Aufmerksamkeit, aber keine Behebung. Schwellenwerte brauchen einen begründeten Ausgangsstand und dürfen nicht als fremde Branchenzahl übernommen werden.
Nicht jede Information gehört in jede Ansicht
Ablaufspuren können vertrauliche Inhalte, interne Kennungen oder Arbeitsverhalten sichtbar machen. Erfassen Sie deshalb nur, was für den definierten Betriebszweck nötig ist. Zugangsschlüssel gehören nicht in allgemeine Logs. Für Detailansichten gelten eigene Zugriffs- und Aufbewahrungsregeln.
Prüfen Sie auch, was bei ausgefallener Erfassung passiert. Ein fehlendes Signal bedeutet nicht automatisch, dass nichts geschieht. Eine Aufgabe ohne neue Ereignisse kann beendet, blockiert oder unbeobachtet sein. Der Betrieb braucht deshalb definierte Zustände für fehlende Telemetrie und eine verantwortliche Stelle, die diese Lücke untersucht.
ARGUS und HERMES als geplante Rollen
Begriff · Protokollkette
Einträge tragen den Prüfwert des Vorgängers. Änderungen fallen beim Nachrechnen auf. Die Erkennung eines vollständigen Neuschreibens braucht einen unabhängig gesicherten Vergleichsstand.
ARGUS soll die operative Lage zeigen: was läuft, was offen ist und was sich ändert. HERMES soll den technischen Betrieb und seine Überwachung tragen. KALKÜL soll eine relevante Handlungs- und Kontrollspur liefern. Diese Rollen ergänzen sich, beantworten aber verschiedene Fragen.
Der vorhandene Prototyp hat eine lokale Protokollkette und eine Liste abgewiesener Versuche. Er ist keine fertige Betriebsüberwachung für verteilte Agenten. Die Dokumentation behauptet deshalb weder einen laufenden Leitstand noch garantierte Erkennung aller Fehler. Ein echter Betriebsnachweis müsste konkrete Signale, Erfassungswege, Störungstests und beobachtete Reaktionen zeigen.
Schema
<vorgang>: wartet auf Rechteklärung
Trace: Quelle lesen -> Zugriff verweigert
Kontrolle: kein Schreibaufruf erlaubt
Zustand: blockiert, zuständige Rolle benannt
Nächste Prüfung: Zugriffsregel am Quellsystem
Technisch erreichbar != fachlich abgeschlossenGrenze
- Grenze
- Beobachtbarkeit ersetzt keine Sicherheitsgrenze und keine fachliche Ergebnisprüfung. Fehlende, verspätete oder falsch zugeordnete Signale können eine scheinbar ruhige Lage erzeugen, obwohl das System Fehler hat.
Fragen
- Ist ein Log schon eine Ablaufspur?
- Nicht unbedingt. Ein einzelner Logeintrag hält ein Ereignis fest. Eine zusammenhängende Ablaufspur verbindet mehrere Schritte über denselben Vorgang.
- Was unterscheidet Überwachung von Ergebnisprüfung?
- Überwachung macht Zustand und Störungen sichtbar. Die Ergebnisprüfung vergleicht die tatsächliche Wirkung einer Aufgabe mit ihrem vorher festgelegten Abschlusskriterium.
Quellen
- OpenTelemetry: Observability primerLebende Projektdokumentation, gelesen am 15.10.2026. Messwerte, Logs, Spans und Traces als unterschiedliche Betriebssignale.
- OWASP: Logging Cheat SheetLebende Anleitung, gelesen am 15.10.2026. Inhalt, Schutz und Grenzen technischer Protokolle.
- Anthropic: Demystifying evals for AI agents09.01.2026. Tests mit Aufgaben, Bewertung, Endzustand und Ablaufspur; Herstellerperspektive.