Um token é um pequeno trecho de texto que um modelo de IA lê ou produz. Pode ser uma palavra curta, parte de uma palavra maior, um sinal de pontuação ou um trecho de código.
Imagine uma frase dividida em pequenos trechos antes de ser entregue à IA. Esses trechos são tokens. Eles não são exatamente iguais a palavras: uma palavra pode usar vários tokens, e a divisão depende do texto e do modelo.
Ferramentas de IA podem contar tokens ao definir limites ou estimar custos. Por isso, a contagem de tokens não corresponde diretamente ao número de palavras digitadas.