TTFT는 “첫 토큰까지 걸리는 시간”(time to first token)으로 AI 답변의 첫 부분이 나타나기까지 걸리는 시간입니다. TPS는 “초당 토큰 수”(tokens per second)로 답변을 만드는 동안 다음 부분들이 도착하는 대략적인 속도입니다.
음료를 기다리는 상황을 떠올려 보세요. TTFT는 첫 모금이 준비될 때까지의 시간이고 TPS는 나머지가 따라지는 속도입니다. 둘 다 도구가 얼마나 빠르게 반응하는지에 영향을 줍니다.
이것들은 기술 지표이지 답변의 유용성을 보장하지는 않습니다. 빠른 답도 틀릴 수 있고 총 대기 시간은 요청과 생성되는 정보의 양에 따라서도 달라집니다.