Token

Ein Token ist die Recheneinheit, in der Sprachmodelle Text verarbeiten. Vor der Verarbeitung wird jeder Text in solche Stücke zerlegt – grob entspricht ein Token einer Silbe oder einem kurzen Wort, wobei deutsche Texte wegen längerer Wörter etwas mehr Token brauchen als englische.

Praktisch relevant ist das aus zwei Gründen. Erstens rechnen Anbieter in Token ab, und zwar getrennt nach Eingabe und Ausgabe. Wer die Kosten eines KI-Einsatzes abschätzen will, muss deshalb in Token denken, nicht in Seiten: Ein langes Dokument, das bei jeder Anfrage mitgeschickt wird, kostet bei jeder Anfrage erneut.

Zweitens ist das Kontextfenster – also die Textmenge, die ein Modell gleichzeitig überblicken kann – ebenfalls in Token bemessen. Eingabe, bisheriger Gesprächsverlauf und Antwort teilen sich dieses Budget. Lange Unterhaltungen werden deshalb irgendwann teuer und ungenau zugleich.

Für Entscheider ergibt sich daraus eine brauchbare Faustregel: Die Kosten eines KI-Werkzeugs hängen weniger daran, wie oft es benutzt wird, als daran, wie viel Text jedes Mal mitläuft. Ein Anwendungsfall, der bei jeder Anfrage ein ganzes Handbuch mitschickt, ist teurer als hundert kurze Anfragen. Wer Kosten senken will, kürzt zuerst den mitgeschickten Kontext – nicht die Nutzung.