Ein Token ist ein kleines Textstück, das ein KI-Modell liest oder erzeugt. Es kann ein kurzes Wort, ein Wortteil, ein Satzzeichen oder ein Stück Code sein.
Stellen Sie sich vor, ein Satz wird in kleine Teile zerlegt, bevor er an die KI geht. Diese Teile sind Token. Sie entsprechen nicht genau Wörtern: Ein Wort kann aus mehreren Token bestehen, und die Aufteilung hängt vom Text und Modell ab.
KI-Tools zählen Token möglicherweise, um Grenzen festzulegen oder Kosten zu schätzen. Die Tokenzahl entspricht daher nicht direkt der Anzahl der eingegebenen Wörter.