Modell-Drift, im AI-Kontext.
Modell-Drift heißt: ein KI-System liefert mit der Zeit schlechtere Ergebnisse, weil Daten, Modellversion oder die Wirklichkeit sich verändert haben.
Modell-Drift bezeichnet den schleichenden Qualitätsverlust eines KI-Systems im laufenden Betrieb. Drei Ursachen sind typisch: Die Eingabedaten verschieben sich, weil sich Kunden, Sortiment oder Sprache verändern. Die Wirklichkeit hinter der Aufgabe verschiebt sich, etwa durch neue Preise oder Regeln. Oder der Anbieter tauscht die Modellversion aus, und ein bewährter Prompt trifft plötzlich anders. Das Tückische daran ist die Unsichtbarkeit: Das System meldet keinen Fehler, es wird nur langsam schlechter. Erkennbar wird Drift nur durch wiederholte Messung mit einem festen Testsatz und durch Rückmeldungen aus der Praxis. Wer nicht misst, merkt es erst an der Beschwerde.
Beispiele aus dem Mittelstand
- Ein Onlineshop stellt fest, dass der Produktberater seit einer Sortimentserweiterung veraltete Artikel empfiehlt.
- Ein Dienstleister bemerkt nach einem Modellwechsel beim Anbieter, dass Antworten deutlich länger und weniger präzise ausfallen.
- Ein Versicherungsmakler misst monatlich mit denselben fünfzig Testfragen und sieht so eine Verschlechterung, bevor Kunden sich melden.
Folge-Fragen
Wie erkennt man Modell-Drift früh?
Mit einem festen Testsatz, der in gleichem Abstand automatisch durchläuft, und einer einfachen Bewertung pro Durchlauf. Sinkt der Wert, ist etwas passiert.
Sind Modellwechsel beim Anbieter das Hauptrisiko?
Sie sind der sichtbarste Auslöser. Häufiger ist aber die schleichende Veränderung der eigenen Daten und Prozesse.
Wie oft sollte man messen?
Bei kritischen Anwendungen wöchentlich, sonst monatlich, zusätzlich immer nach jeder Änderung an Prompt, Modell oder Wissensbasis.
Was tun, wenn Drift auftritt?
Erst die Ursache trennen: Daten, Prozess oder Modell. Danach gezielt nachziehen, also Wissensbasis aktualisieren, Prompt anpassen oder Modellversion festschreiben.
Modell-Drift in der Praxis.
Wo dieser Begriff in deinem Geschäft konkret wird, beginnt die Arbeit. Wir nennen klar, ob die Idee in unser Studio passt.
Künstliche Intelligenz