Token

Was ein Token ist

Ein Token ist die kleinste Einheit, in die ein Sprachmodell Text zerlegt. Es ist nicht ein Buchstabe und nicht ein Wort, sondern ein häufiges Stück Text, meist drei bis vier Zeichen lang. Ein häufiges Wort wie der ist ein Token, ein seltenes wird in mehrere zerlegt. Sonderzeichen, Zahlen und Umlaute kosten dabei mehr als Buchstaben, weil sie seltener vorkommen.

Die Zerlegung erklärt eine Beobachtung aus der Praxis: Eine Zahl wie 1234 verbraucht in vielen Modellen mehr als ein Token, während ein geläufiges Wort eines belegt. Rechnungen sind deshalb bei Text mit vielen Zahlen und Sonderzeichen teurer als bei Fließtext.

Wie daraus Kosten entstehen

Kosten werden in Token gemessen, getrennt nach Eingabe und Ausgabe. Die Eingabe ist teurer als die Ausgabe bei manchen Anbietern und billiger bei anderen. Wichtig ist, dass die Eingabe nicht nur die Frage umfasst, sondern alles, was mitgeschickt wird. Ein langer Systemtext, ein Beispieltext und abgerufene Textstellen gehören dazu und werden bei jeder Anfrage erneut berechnet.

Daraus folgt die wirksamste Sparmaßnahme: Wiederkehrende Teile kürzen. Wer dieselbe lange Anweisung bei jeder Anfrage mitschickt, zahlt sie bei jeder Anfrage erneut. Wer abgerufene Textstellen auf die relevanten Sätze begrenzt, senkt die Kosten deutlich, ohne Qualität zu verlieren.

Was das Kontextfenster begrenzt

• Eingabe und Ausgabe gemeinsam: Das Fenster begrenzt beides zusammen. Ein langer Vertrag lässt entsprechend weniger Platz für die Antwort.
• Kein Gedächtnis: Ein Modell erinnert sich nicht an frühere Aufrufe. Jeder Aufruf beginnt frisch, deshalb wird der Verlauf bei Gesprächen mitgeschickt und wächst mit.
• Länge kostet Qualität: Sehr lange Eingaben verschlechtern die Antwort, weil Wichtiges zwischen Unwichtigem verschwindet. Kürzen hilft also doppelt.
• Grenze je Modell: Die Größe ist je Modell verschieden und ändert sich mit Modellversionen, deshalb ist sie keine feste Planungsgröße.

Faustregeln für die Praxis

Drei Werte helfen bei der Einschätzung. Ein A4-Blatt Text entspricht grob 500 bis 800 Token, je nach Sprache. Deutsche Texte brauchen mehr Token als englische, weil Wörter länger und Komposita seltener sind. Eine Abfrage eines Kundendatensatzes mit zwanzig Feldern liegt bei etwa 200 Token, ein längerer Produktdatensatz mit Beschreibung bei mehreren hundert.

Wichtig ist auch die Rechnung für Massenvorgänge. Wer tausend Produkttexte erzeugen will, sollte den Tokenbedarf pro Text kennen, bevor er startet. Eine Schätzung, die um den Faktor zwei danebenliegt, verdoppelt die Kosten. Deshalb gehört ein Test mit einer kleinen Menge vor jede Massenverarbeitung.

Häufige Fragen

• Kann ich Token selbst zählen? Ungefähr ja, über Zeichen geteilt durch vier. Genaue Werte liefern nur die Werkzeuge der Anbieter.
• Warum ist mein deutscher Text teurer? Weil deutsche Wörter mehr Token belegen als englische.
• Spart eine kürzere Antwort Geld? Ja, wenn die Ausgabe teurer abgerechnet wird als die Eingabe.