Context-Window, im AI-Kontext.
Das Context-Window ist die maximale Token-Menge, die ein Sprachmodell pro Anfrage gleichzeitig im Blick hat. Alles darüber fällt schlicht heraus.
Das Context-Window ist die maximale Menge an Tokens, die ein Sprachmodell in einer einzelnen Anfrage gleichzeitig verarbeiten kann, gerechnet über Systemanweisung, Anhänge, Chat-Historie und die Antwort zusammen. Ist das Fenster voll, fällt der älteste Teil heraus, und das Modell verliert genau die Information, die vorher noch da war. Größere Fenster lösen das nicht automatisch: die Stanford-Arbeit Lost in the Middle von Liu und Kollegen zeigte 2023, dass Modelle Angaben am Anfang und am Ende eines langen Kontexts besser nutzen als Angaben in der Mitte. Für den Betrieb heißt das: gezielt füttern schlägt alles hineinkippen.
Beispiele aus dem Mittelstand
- Ein Fertigungsbetrieb kippt ein 300-seitiges Handbuch in den Chat und bekommt Antworten, die den mittleren Teil ignorieren.
- Ein Dienstleister ersetzt den Komplett-Upload durch eine RAG-Suche und schickt nur die drei passenden Abschnitte mit.
Folge-Fragen
Wie groß sind Context-Windows heute?
Je nach Modell von einigen zehntausend bis zu mehreren Hunderttausend Tokens, einzelne Modelle nennen eine Million. Die aktuelle Zahl steht immer in der Modellkarte des Anbieters.
Warum vergisst der Chatbot nach längerer Unterhaltung?
Weil die Unterhaltung selbst Tokens verbraucht. Ist das Fenster voll, wird der Anfang abgeschnitten, sofern die Anwendung nicht aktiv zusammenfasst.
Ist ein größeres Fenster immer besser?
Nein. Mehr Kontext kostet mehr Tokens, erhöht die Latenz und verwässert die Aufmerksamkeit des Modells. Präzise Auswahl liefert meist bessere Antworten.
Was tun bei sehr großen Dokumentbeständen?
Dokumente in Abschnitte zerlegen, als Embeddings ablegen und pro Anfrage nur die passenden Abschnitte laden. Das ist der übliche RAG-Aufbau.
Context-Window in der Praxis.
Wo dieser Begriff in deinem Geschäft konkret wird, beginnt die Arbeit. Wir nennen klar, ob die Idee in unser Studio passt.
Künstliche Intelligenz