Eval (Evaluation), im AI-Kontext.
Ein Eval ist ein wiederholbarer Testlauf, der die Qualität eines KI-Systems messbar macht. Ohne Evals ist jede Änderung an Prompt oder Modell ein Blindflug.
Ein Eval ist ein wiederholbarer Test, der die Ausgabequalität eines KI-Systems gegen einen festen Satz von Aufgaben misst. Aufgebaut ist er aus drei Teilen: einer Sammlung realistischer Eingaben, einer Definition der erwarteten Antwort und einer Bewertungsregel. Bewertet wird je nach Aufgabe automatisch, durch ein zweites Modell oder durch Menschen. Der Nutzen zeigt sich beim Ändern: Ohne Eval ist nach einer Prompt-Änderung nur ein Gefühl vorhanden, mit Eval eine Zahl. Der Aufwand liegt im Aufbau des Testsatzes, nicht in der Technik. Fünfzig gut gewählte Fälle aus dem echten Betrieb bringen mehr als tausend erfundene.
Beispiele aus dem Mittelstand
- Ein Softwarehaus sammelt fünfzig echte Supportanfragen mit geprüften Musterantworten und lässt sie nach jeder Prompt-Änderung durchlaufen.
- Eine Kanzlei bewertet Zusammenfassungen ihres KI-Werkzeugs monatlich nach den Kriterien Vollständigkeit, Richtigkeit und Ton.
- Ein Onlineshop prüft vor jedem Modellwechsel, ob der Produktberater weiterhin nur lieferbare Artikel empfiehlt.
Folge-Fragen
Wie viele Testfälle braucht ein sinnvoller Eval?
Meist reichen dreißig bis hundert Fälle aus dem echten Betrieb, wenn sie die typischen Varianten und die bekannten Problemfälle abdecken.
Kann ein Modell die Bewertung übernehmen?
Für Kriterien wie Ton, Vollständigkeit oder Themenbezug funktioniert das gut. Bei Fakten und Zahlen bleibt eine feste Sollantwort oder ein Mensch nötig.
Wann läuft ein Eval?
Vor jedem Rollout einer Änderung an Prompt, Modell oder Wissensbasis, zusätzlich in festem Rhythmus zur Erkennung von Modell-Drift.
Was misst man überhaupt?
Was im Betrieb weh tut: falsche Fakten, fehlende Angaben, falscher Ton, unbeantwortete Fragen. Abstrakte Punktwerte ohne Bezug zum Geschäft helfen nicht.
Eval (Evaluation) in der Praxis.
Wo dieser Begriff in deinem Geschäft konkret wird, beginnt die Arbeit. Wir nennen klar, ob die Idee in unser Studio passt.
Künstliche Intelligenz