AIにおけるトークンとは

トークンは、言語モデルが文章を読み、書き、課金するときの小さな単位です。短い語、語の一部、句読点のどれかになることがあります。

料金がトークンで決まる理由

提供者は単語数ではなくトークン数で入力と出力を数えます。同じ作業でも言語とモデルでトークン数は変わり、出力は入力より高くなりがちです。

送る前に確認すること

提供者のトークン単価で費用を見積もり、長い文書を送る前にコンテキスト窓を確認します。この話題の英語版は同じ記事名です。