Was sind Token bei KI?

Kurzantwort

Token sind kleine Textbausteine, in die ein KI-Modell Eingaben und Antworten zerlegt. Sie sind nicht immer ganze Wörter: Satzzeichen oder Wortteile können eigene Token sein. Token beeinflussen, wie viel Text in ein Kontextfenster passt und wie nutzungsabhängige Kosten berechnet werden.

Einfach erklärt

Die KI zählt nicht einfach Wörter oder Seiten. Sie zerlegt Text in Stücke, die sie technisch verarbeiten kann. Deshalb können zwei ähnlich lange Texte unterschiedlich viele Token verbrauchen.

Wofür im Unternehmen

Du lässt lange Gesprächsnotizen zusammenfassen. Vorher teilst du sie nach Themen und prüfst die Ergebnisse am Original. So überforderst du das Kontextfenster nicht und behältst Überblick über den tatsächlichen Umfang.

Häufige Fragen

Ist das Fragezeichen ein weiterer Token?

Das kann sein. Ob ein Zeichen ein eigener Token ist, hängt von der jeweiligen Zerlegung des Modells ab; sichere Aussagen liefert nur die aktuelle Herstellerdokumentation.

Was ist ein Token?

Ein Token ist ein technischer Textbaustein. Er ist kein Qualitätswert und sagt nicht automatisch, ob eine Antwort nützlich, richtig oder freigegeben ist.

Was passiert, wenn die Eingabe zu lang ist?

Dann passt sie möglicherweise nicht vollständig ins Kontextfenster. Teile die Aufgabe auf, gib eine Prüfliste mit und vergleiche wichtige Aussagen anschließend mit der ursprünglichen Quelle.