Kontextfenster

Was das Kontextfenster begrenzt

Das Kontextfenster ist die Menge an Text, die ein Sprachmodell bei einer Anfrage gleichzeitig berücksichtigen kann. Gemessen wird in Token, also in Wortteilen. Alles, was in eine Anfrage eingeht, belegt Platz: die Anweisung, das Hintergrundmaterial, der bisherige Gesprächsverlauf und die Antwort selbst.

Die praktische Folge ist einfach: Passt der Inhalt nicht, muss ausgewählt werden. Wer einen ganzen Produktkatalog in eine Anfrage gibt, erhält keine bessere Antwort, sondern eine überfüllte Anfrage, in der die relevanten Stellen schwerer zu finden sind.

Warum mehr Platz nicht mehr Qualität bedeutet

Ein häufiges Missverständnis ist, dass ein größeres Fenster die Arbeit leichter macht. Die Beobachtung ist eine andere: Wichtige Angaben in der Mitte eines sehr langen Materials werden häufiger übersehen als Angaben am Anfang oder am Ende. Das Material belegt also Platz, wird aber nicht gleichmäßig beachtet.

Zwei Konsequenzen folgen daraus. Erstens die Reihenfolge: Die entscheidende Anweisung gehört an den Anfang und noch einmal an das Ende der Anfrage. Zweitens die Auswahl: Wenige, passende Abschnitte liefern bessere Ergebnisse als ein vollständiges Dokument, das nur teilweise einschlägig ist.

Wie Inhalte für Modelle aufbereitet werden

• Abschnitte statt Fließtext: Ein Dokument in kurze, benannte Abschnitte zu teilen erlaubt es, nur die passenden Teile zu übergeben.
• Kurze Einheiten: Ein Abschnitt mit einer Aussage wird zuverlässiger verwendet als ein langer Abschnitt mit mehreren Themen.
• Klare Bezeichnungen: Überschriften und Feldnamen helfen dem Modell, das Gefundene richtig einzuordnen.
• Trennung von Fakten und Regeln: Preise und Maße gehören in einen Datenblock, Anweisungen in einen eigenen Bereich.
• Feste Reihenfolge: Gleichartige Anfragen sollten immer gleich aufgebaut sein, weil sich Fehler sonst nicht eingrenzen lassen.

Was das für den Shop bedeutet

Ein typischer Anwendungsfall ist die Beantwortung von Fragen zu Produkten. Der Katalog umfasst schnell zehntausende Artikel, die nicht in eine Anfrage passen. Zwei Wege sind üblich: Entweder wird zuerst das passende Produkt ermittelt und nur dessen Abschnitt an das Modell übergeben, oder es werden Textabschnitte vorab in kurze Einheiten zerlegt und über einen Vergleich ähnlicher Inhalte ausgewählt. Beide Wege folgen derselben Logik: auswählen statt alles mitgeben.

Für die Qualität ist außerdem relevant, was nicht in eine Anfrage gehört. Vertrauliche Daten, vollständige Kundenlisten und interne Preiskalkulationen gehören nicht in einen externen Dienst. Die Prüfung, welche Felder übergeben werden, ist deshalb eine Aufgabe vor der Einführung und nicht erst danach. Wer diese Auswahl einmal festlegt und pflegt, hat den wichtigsten Teil der Qualitätssicherung erledigt, weil sich Fehler danach auf wenige, nachvollziehbare Stellen begrenzen.