Ugrás a tartalomhoz
100% helyi

LLM token és költségkalkulátor

Becsülje meg, hány tokenbe kerül egy beillesztett szöveg a népszerű LLM API-kon keresztül.

Bemenet
Kimenet

LLM token és költségkalkulátor

Illesszen be egy promptot, dokumentumot vagy csevegési átiratot, és ez az eszköz megbecsüli, hogy hány tokent használna fel, majd ezt egy hozzávetőleges dollárköltségre konvertálja néhány népszerű modellben – GPT-4o, GPT-4o mini, Claude Sonnet, Claude Haiku és Claude Opus. Arra tervezték, hogy gyors ésszerű ellenőrzéseket végezzenek, mielőtt nagy mennyiségű kérelmet küldenének egy API-n keresztül, nem pedig a szolgáltató irányítópultján utólag jelentett pontos használati számok helyettesítésére.

A token számlálás itt heurisztikus, nem pontos számlálás. A valódi tokenizátorok hatalmas korpuszokon betanított bájtpáros kódolást használnak, és egy kliensoldali reprodukálás azt jelentené, hogy megabájtnyi egyesítési táblát szállítanak egy szolgáltatáshoz. Ehelyett ez az eszköz a hüvelykujjszabályt alkalmazza a legtöbb API-dokumentum idézeténél – nagyjából négy karakter vagy egy szó háromnegyede tokenenként az angol és más latin betűs nyelvek esetében –, és sűrűbb arányra vált a CJK-szövegeknél (kínai, japán, koreai), ahol egy karakter általában közel egy tokenre van leképezve negyed helyett. A vegyes szöveget karakterenként osztályozzák, így az angol és japán között váltott bekezdés vegyes becslést kap.

A referenciaárak azon vannak kódolva, amelyeket az egyes szolgáltatók az eszköz készítésekor feltüntettek, millió tokenenként. Kapcsolja be az „Ár mint kimeneti jogkivonat” lehetőséget, hogy ehelyett ugyanazt a számlát árazza az egyes modellek kimeneti sebességén – a kimenet ára következetesen magasabb, mint a bemenet, ami a befejezés becslésénél számít, nem pedig a felszólítás. A táblázat a gépelés közben frissül, így a prompt kivágása minden modellben egyszerre mutatja a hatását.

Minden helyben fut: a beillesztett szöveg soha nem töltődik fel sehova, így biztonságosan használható bizalmas anyagokat tartalmazó promptokon. Mivel a tokenszám becslés, tekintse a számokat tervezési segédletként – a pontos számlázás érdekében ellenőrizze az API-szolgáltató által ténylegesen jelentett használatot.

Gyakori kérdések

Mennyire pontos a token becslés?
Ez egy heurisztika, jellemzően a közönséges próza valós számának 10-20%-án belül van. A valódi BPE tokenizátorok csak a szolgáltató saját szókincsének szállításával reprodukálhatók pontosan, amit ez az eszköz szándékosan elkerül, hogy egy könnyű, ügyféloldali becslés maradjon.
Miért eltérően becsüli ugyanazt a szöveget a CJK nyelvek esetében?
A kínai, a japán és a koreai szöveg sokkal sűrűbben tokenizálódik, mint a latin betűs szöveg – gyakran közel egy tokenhez karakterenként, nem pedig négy karakterenként. Az eszköz észleli ezeket a szkripteket, és külön arányt alkalmaz, így a becslés ésszerű marad a vegyes nyelvű szövegeknél is.
Élnek az árak?
Nem. Ezek kódolt referenciaárak, amelyeket az eszköz készítésekor határoztak meg, nem pedig egyetlen API-ból sem. A szolgáltatók rendszeresen változtatják az árat, ezért a költségvetési döntés meghozatala előtt ellenőrizze a modellszolgáltató aktuális árképzési oldalát.
Mit változtat az „Ár mint kimeneti token”?
Minden modellt a kimeneti token sebességére kapcsol a bemeneti token sebessége helyett. A kimeneti tokenek számlázása magasabb, mint a bemeneti tokenek a táblázatban szereplő összes modell esetében, ezért ez a kapcsoló akkor hasznos, ha egy generált válasz költségét becsüli meg, nem pedig egy elküldött felszólítást.
Fel van töltve valahova a szövegem?
Nem. A token becslés és a költségszámítás teljes egészében az Ön böngészőjében fut – az ide beillesztett semmit nem küldi el az OpenAI, az Anthropic vagy bármely más szolgáltatás.