Kompresor kontekstu LLM
Zmniejsz wklejony tekst lub kod, aby kosztować mniej tokenów przed wysłaniem go do LLM.
Kompresor kontekstu LLM
Wklej kod lub treść, którą masz zamiar wysłać do LLM, a to narzędzie przycina części, które kosztują tokeny, ale nie mają większego znaczenia, dzięki czemu większa część budżetu kontekstowego zostanie przeznaczona na treść, której model faktycznie potrzebuje. Został zbudowany do codziennych zadań polegających na wklejaniu pliku, dziennika lub długiego bloku instrukcji do okna czatu i obserwowaniu wzrostu liczby tokenów.
Cztery przełączniki kontrolują to, co zostanie usunięte. „Usuń komentarze do kodu” usuwa // , # i -- komentarze liniowe plus /* */ komentarze blokowe — przydatne podczas wklejania plików źródłowych, gdzie komentarze są przeznaczone dla ludzi, a nie dla modelu. Opcja „Zwiń puste linie i końcowe spacje” zmniejsza ciągi pustych linii do jednego i przycina niepotrzebne białe znaki na końcu każdej linii. „Usuń zbędne wcięcia” usuwa wiodące białe znaki, które są wspólne dla każdej linii, więc głęboko zagnieżdżony blok kodu wklejony z edytora nie marnuje tokenów na wcięcia, których model nie musi odtwarzać struktury. „Usuń słowa wypełniające/zatrzymujące w prozie” to najbardziej agresywna opcja: usuwa lekką listę słów zabezpieczających i funkcyjnych — bardzo, w zasadzie, po prostu, w pewnym sensie, w celu i podobnych — ze zwykłych zdań, dlatego jest domyślnie wyłączona i najlepiej zarezerwowana dla prozy, a nie dla kodu.
Licznik na żywo pod wynikami pokazuje znaki i szacowaną liczbę żetonów przed i po, a także procent zaoszczędzonej wartości, dzięki czemu możesz zobaczyć efekt każdego przełącznika po jego przełączeniu. Oszacowanie tokena to przybliżone przybliżenie oparte na znakach (około czterech znaków na token), a nie dokładna liczba z tokenizera konkretnego modelu — przydatna do oceny względnych oszczędności, a nie do osiągnięcia dokładnego budżetu.
Wszystko działa w przeglądarce jako zwykły tekst i przetwarzanie wyrażeń regularnych: nie ma analizatora kodu, żadnego AST i nic, co wkleisz, nie zostanie nigdzie przesłane. Dzięki temu można bezpiecznie uruchamiać na prywatnym kodzie źródłowym, dokumentacji wewnętrznej lub podpowiedziach roboczych, zanim opuszczą one Twoją maszynę.