AI에서 토큰이란

토큰은 언어 모델이 글을 읽고 쓰고 요금을 계산할 때 쓰는 작은 단위입니다. 짧은 단어, 단어의 일부, 문장 부호가 될 수 있습니다.

요금이 토큰으로 정해지는 이유

제공자는 단어 수가 아니라 토큰 수로 입력과 출력을 셉니다. 같은 작업도 언어와 모델에 따라 토큰 수가 달라지고, 출력은 입력보다 비싼 경우가 많습니다.

보내기 전에 확인할 것

제공자의 토큰 단가로 비용을 가늠하고, 긴 문서를 보내기 전에 컨텍스트 창을 확인합니다. 이 주제의 영어 글은 같은 기사 이름을 씁니다.