LLM jetonu ve maliyet hesaplayıcısı
Popüler LLM API'lerinde yapıştırılan bir metnin kaç jetona mal olacağını tahmin edin.
LLM jetonu ve maliyet hesaplayıcısı
Bir bilgi istemi, belge veya sohbet metnini yapıştırın ve bu araç, ne kadar jeton tüketeceğini tahmin eder ve ardından bunu bir avuç popüler modelde (GPT-4o, GPT-4o mini, Claude Sonnet, Claude Haiku ve Claude Opus) yaklaşık dolar maliyetine dönüştürür. Bir sağlayıcının kontrol panelinin daha sonra rapor ettiği kesin kullanım sayılarının yerine geçmek için değil, bir API aracılığıyla büyük miktarda istek göndermeden önce hızlı sağlık kontrolleri için tasarlanmıştır.
Burada jeton sayımı kesin bir sayım değil buluşsal bir yöntemdir. Gerçek belirteçler, büyük şirketler üzerinde eğitilmiş bayt çifti kodlamayı kullanır ve bir istemci tarafının yeniden üretilmesi, bir özellik için megabaytlarca birleştirme tablosunun gönderilmesi anlamına gelir. Bunun yerine, bu araç, çoğu API belgesinde alıntı yapılan temel kuralı uygular (İngilizce ve diğer Latin alfabesi dilleri için simge başına kabaca dört karakter veya bir kelimenin dörtte üçü) ve bir karakterin genellikle çeyrek yerine bir simgeye yakın olarak eşleştiği CJK metni (Çince, Japonca, Korece) için daha yoğun bir orana geçer. Karışık metin, karakter karakter olarak sınıflandırılır, böylece İngilizce ile Japonca arasında geçiş yapan bir paragraf, karma bir tahmin alır.
Referans fiyatları, bu araç geliştirildiğinde her sağlayıcının listelediği, milyon token başına gösterilen şekilde kodlanmıştır. Bunun yerine, her modelin çıktı oranında aynı sayıyı fiyatlandırmak için "Çıktı belirteçleri olarak fiyatlandır" seçeneğini değiştirin; çıktı, sürekli olarak girdiden daha yüksek fiyatlandırılır; bu, bir istem yerine tamamlanmayı tahmin ederken önemlidir. Tablo siz yazdıkça güncellenir, böylece bir istemin kırpılması etkisini her modelde aynı anda gösterir.
Her şey yerel olarak çalışır: yapıştırdığınız metin hiçbir zaman hiçbir yere yüklenmez, bu nedenle gizli materyal içeren bir bilgi isteminde kullanmak güvenlidir. Belirteç sayısı bir tahmin olduğundan, sayıları planlamaya yardımcı olarak değerlendirin; tam faturalandırma için API sağlayıcınızın gerçekte bildirdiği kullanımı kontrol edin.