Preskoči na vsebino
100% lokalno

LLM žeton in kalkulator stroškov

Ocenite, koliko žetonov stane prilepljeno besedilo v priljubljenih API-jih LLM.

Vhod
Izhod

LLM žeton in kalkulator stroškov

Prilepite poziv, dokument ali prepis klepeta in to orodje oceni, koliko žetonov bi porabilo, nato pa to pretvori v približno ceno v dolarjih za peščico priljubljenih modelov – GPT-4o, GPT-4o mini, Claude Sonnet, Claude Haiku in Claude Opus. Zasnovan je za hitre preglede zdravega razuma, preden pošlje veliko skupino zahtev prek API-ja, ne pa kot nadomestilo za natančne številke uporabe, ki jih ponudnikova nadzorna plošča poroča pozneje.

Štetje žetonov je tukaj hevristika, ne natančno štetje. Pravi tokenizatorji uporabljajo kodiranje bajtnih parov, naučeno na ogromnih korpusih, in reproduciranje ene odjemalske strani bi pomenilo pošiljanje megabajtov združitvenih tabel za eno funkcijo. Namesto tega to orodje uporablja pravilo, ki ga navaja večina dokumentov API-ja – približno štiri znake ali tri četrtine besede na žeton za angleščino in druge jezike z latinično pisavo – in preklopi na gostejše razmerje za besedilo CJK (kitajsko, japonsko, korejsko), kjer se znak običajno preslika blizu enega žetona namesto četrtine. Mešano besedilo je razvrščeno po znakih, tako da odstavek, ki preklaplja med angleščino in japonščino, dobi mešano oceno.

Referenčne cene so trdo kodirane glede na to, kar je navedel vsak ponudnik, ko je bilo to orodje izdelano, prikazano na milijon žetonov. Preklopite »Cena kot izhodni žetoni«, da namesto tega cenite isto število pri izhodni stopnji vsakega modela — izhod je dosledno ocenjen višje od vhoda, kar je pomembno pri ocenjevanju dokončanja in ne poziva. Tabela se posodablja, ko vnašate, tako da obrezovanje poziva pokaže njegov učinek v vseh modelih hkrati.

Vse deluje lokalno: besedilo, ki ga prilepite, ni nikoli nikamor naloženo, zato ga je varno uporabiti v pozivu, ki vsebuje zaupno gradivo. Ker je število žetonov ocena, obravnavajte številke kot pomoč pri načrtovanju – za natančno zaračunavanje preverite uporabo, ki jo vaš ponudnik API-ja dejansko poroča.

FAQ

Kako natančna je ocena žetona?
Je hevristika, običajno znotraj približno 10-20 % dejanskega števila za običajno prozo. Prave tokenizatorje BPE je mogoče natančno reproducirati samo s pošiljanjem ponudnikovega lastnega besedišča, ki se mu to orodje namenoma izogiba, da ostane lahka ocena na strani odjemalca.
Zakaj se isto besedilo ocenjuje drugače za jezike CJK?
Kitajsko, japonsko in korejsko besedilo je tokenizirano veliko bolj gosto kot besedilo v latinični pisavi - pogosto blizu enega žetona na znak namesto enega žetona na štiri znake. Orodje zazna te skripte in uporabi ločeno razmerje, tako da ocena ostane razumna tudi za besedilo v mešanih jezikih.
So cene v živo?
Ne. To so trdo kodirane referenčne cene, določene ob izdelavi tega orodja, ki niso pridobljene iz nobenega API-ja. Ponudniki občasno spreminjajo cene, zato preverite trenutno stran s cenami ponudnika modela, preden sprejmete odločitev o proračunu.
Kaj spremeni "Cena kot izhodni žetoni"?
Vsak model preklopi na svojo stopnjo izhodnega žetona namesto na svojo stopnjo vhodnega žetona. Izhodni žetoni se obračunavajo po višji ceni kot vhodni žetoni za vsak model v tabeli, zato je ta preklop uporaben, ko ocenjujete stroške ustvarjenega odgovora in ne poziva, ki ga pošiljate.
Je moje besedilo kje naloženo?
Ne. Ocena žetona in izračun stroškov se izvajata v celoti v vašem brskalniku – nič, kar prilepite tukaj, ni poslano OpenAI, Anthropic ali kateri koli drugi storitvi.