토큰은 AI 모델이 읽거나 생성하는 작은 텍스트 조각입니다. 짧은 단어, 긴 단어의 일부, 문장 부호 또는 코드 조각일 수 있습니다.
AI에게 전달하기 전에 문장을 작은 조각으로 나눈다고 상상해 보세요. 그 조각이 토큰입니다. 토큰은 단어와 정확히 같지 않습니다. 한 단어가 여러 토큰을 사용할 수 있고, 분할 방식은 텍스트와 모델에 따라 달라집니다.
AI 도구는 한도를 설정하거나 비용을 추정할 때 토큰을 셀 수 있습니다. 따라서 토큰 수는 입력한 단어 수와 직접 일치하지 않습니다.