TokenはAIモデルが読み取ったり生成したりする小さなテキスト片です。短い単語、長い単語の一部、句読点、コードの一部などがtokenになることがあります。
AIに渡す前に、文が小さな部分に分けられる様子を想像してください。その部分がtokenです。単語と完全に同じではなく、一つの単語が複数のtokenになることもあり、分割方法はテキストやモデルによって異なります。
AIツールは上限の設定や費用の見積もりにtokenを数えることがあります。そのため、token数は入力した単語数を直接表すものではありません。