タグ「トークン」の記事

AIにおけるトークンとは

トークンは、AIモデルが文章を読み、書き、課金する単位です。語数との対応、出力のほうが高くなりやすい理由、一度に扱える文脈の長さを、長い文書を送る前に見積もるための短い説明です。英語版と同じ記事名です。同じ意味でも言語ごとに数が変わります。