Guide sull’IA · 1 min di lettura

Che cos'è un token nell'intelligenza artificiale?

Un token è l'unità con cui un modello di IA legge e scrive il testo e ne calcola il costo. Collega parole, costi e finestra di contesto.

Un testo si divide in piccole tessere luminose che scorrono verso un contatore e una pila di monete.

Un token è la piccola unità con cui un modello linguistico legge e scrive il testo e ne calcola il costo. Può essere una parola breve, una parte di parola o un segno di punteggiatura.

Perché i token determinano il costo

I fornitori contano input e output in token, non in parole. La stessa operazione può consumare un numero diverso di token a seconda della lingua e del modello, e l’output costa spesso più dell’input.

Cosa controllare prima di inviare

Stima il costo usando il prezzo per token del fornitore e controlla la finestra di contesto prima di inviare documenti lunghi. La versione inglese di questo argomento usa lo stesso nome dell’articolo.

Scritto da

Chunyu Cai

Chunyu Cai è l’amministratore delegato di Lotook, LLC e un imprenditore che scrive di modelli di IA, agenti e di come cambiano il lavoro quotidiano. Chunyu Cai ha conseguito un master presso Imperial College London.