LLM žeton in kalkulator stroškov
Ocenite, koliko žetonov stane prilepljeno besedilo v priljubljenih API-jih LLM.
LLM žeton in kalkulator stroškov
Prilepite poziv, dokument ali prepis klepeta in to orodje oceni, koliko žetonov bi porabilo, nato pa to pretvori v približno ceno v dolarjih za peščico priljubljenih modelov – GPT-4o, GPT-4o mini, Claude Sonnet, Claude Haiku in Claude Opus. Zasnovan je za hitre preglede zdravega razuma, preden pošlje veliko skupino zahtev prek API-ja, ne pa kot nadomestilo za natančne številke uporabe, ki jih ponudnikova nadzorna plošča poroča pozneje.
Štetje žetonov je tukaj hevristika, ne natančno štetje. Pravi tokenizatorji uporabljajo kodiranje bajtnih parov, naučeno na ogromnih korpusih, in reproduciranje ene odjemalske strani bi pomenilo pošiljanje megabajtov združitvenih tabel za eno funkcijo. Namesto tega to orodje uporablja pravilo, ki ga navaja večina dokumentov API-ja – približno štiri znake ali tri četrtine besede na žeton za angleščino in druge jezike z latinično pisavo – in preklopi na gostejše razmerje za besedilo CJK (kitajsko, japonsko, korejsko), kjer se znak običajno preslika blizu enega žetona namesto četrtine. Mešano besedilo je razvrščeno po znakih, tako da odstavek, ki preklaplja med angleščino in japonščino, dobi mešano oceno.
Referenčne cene so trdo kodirane glede na to, kar je navedel vsak ponudnik, ko je bilo to orodje izdelano, prikazano na milijon žetonov. Preklopite »Cena kot izhodni žetoni«, da namesto tega cenite isto število pri izhodni stopnji vsakega modela — izhod je dosledno ocenjen višje od vhoda, kar je pomembno pri ocenjevanju dokončanja in ne poziva. Tabela se posodablja, ko vnašate, tako da obrezovanje poziva pokaže njegov učinek v vseh modelih hkrati.
Vse deluje lokalno: besedilo, ki ga prilepite, ni nikoli nikamor naloženo, zato ga je varno uporabiti v pozivu, ki vsebuje zaupno gradivo. Ker je število žetonov ocena, obravnavajte številke kot pomoč pri načrtovanju – za natančno zaračunavanje preverite uporabo, ki jo vaš ponudnik API-ja dejansko poroča.