LLM token és költségkalkulátor
Becsülje meg, hány tokenbe kerül egy beillesztett szöveg a népszerű LLM API-kon keresztül.
LLM token és költségkalkulátor
Illesszen be egy promptot, dokumentumot vagy csevegési átiratot, és ez az eszköz megbecsüli, hogy hány tokent használna fel, majd ezt egy hozzávetőleges dollárköltségre konvertálja néhány népszerű modellben – GPT-4o, GPT-4o mini, Claude Sonnet, Claude Haiku és Claude Opus. Arra tervezték, hogy gyors ésszerű ellenőrzéseket végezzenek, mielőtt nagy mennyiségű kérelmet küldenének egy API-n keresztül, nem pedig a szolgáltató irányítópultján utólag jelentett pontos használati számok helyettesítésére.
A token számlálás itt heurisztikus, nem pontos számlálás. A valódi tokenizátorok hatalmas korpuszokon betanított bájtpáros kódolást használnak, és egy kliensoldali reprodukálás azt jelentené, hogy megabájtnyi egyesítési táblát szállítanak egy szolgáltatáshoz. Ehelyett ez az eszköz a hüvelykujjszabályt alkalmazza a legtöbb API-dokumentum idézeténél – nagyjából négy karakter vagy egy szó háromnegyede tokenenként az angol és más latin betűs nyelvek esetében –, és sűrűbb arányra vált a CJK-szövegeknél (kínai, japán, koreai), ahol egy karakter általában közel egy tokenre van leképezve negyed helyett. A vegyes szöveget karakterenként osztályozzák, így az angol és japán között váltott bekezdés vegyes becslést kap.
A referenciaárak azon vannak kódolva, amelyeket az egyes szolgáltatók az eszköz készítésekor feltüntettek, millió tokenenként. Kapcsolja be az „Ár mint kimeneti jogkivonat” lehetőséget, hogy ehelyett ugyanazt a számlát árazza az egyes modellek kimeneti sebességén – a kimenet ára következetesen magasabb, mint a bemenet, ami a befejezés becslésénél számít, nem pedig a felszólítás. A táblázat a gépelés közben frissül, így a prompt kivágása minden modellben egyszerre mutatja a hatását.
Minden helyben fut: a beillesztett szöveg soha nem töltődik fel sehova, így biztonságosan használható bizalmas anyagokat tartalmazó promptokon. Mivel a tokenszám becslés, tekintse a számokat tervezési segédletként – a pontos számlázás érdekében ellenőrizze az API-szolgáltató által ténylegesen jelentett használatot.