Token, bir AI modelinin okuduğu veya ürettiği küçük bir metin parçasıdır. Kısa bir sözcük, uzun bir sözcüğün parçası, noktalama işareti ya da bir kod parçası olabilir.
AI'ye verilmeden önce bir cümlenin küçük parçalara ayrıldığını düşünün. Bu parçalar tokenlardır. Sözcüklerle birebir aynı değildirler: Bir sözcük birden fazla token kullanabilir ve bölünme metne ve modele göre değişir.
AI araçları sınır belirlerken veya maliyet tahmin ederken tokenları sayabilir. Bu nedenle token sayısı, yazdığınız sözcük sayısını doğrudan göstermez.