LLM kontekstni kompresor
Smanjite zalijepljeni tekst ili kod tako da košta manje tokena prije nego što ga pošaljete LLM-u.
LLM kontekstni kompresor
Zalijepite kod ili prozu koju ćete poslati LLM-u i ovaj alat skraćuje dijelove koji koštaju tokene bez puno značenja, tako da veći dio vašeg kontekstnog proračuna odlazi na sadržaj koji model zapravo treba. Napravljen je za svakodnevne poslove lijepljenja datoteke, dnevnika ili dugog bloka uputa u prozor za chat i promatranja broja tokena koji raste.
Četiri prekidača kontroliraju što se uklanja. "Strip code comments" briše // , # i -- komentare retka plus /* */ blok komentare — zgodno kada lijepite izvorne datoteke gdje su komentari za ljude, a ne za model. "Sažmi prazne retke i razmake na kraju" smanjuje niz praznih redaka na jedan i skraćuje zalutale razmake na kraju svakog retka. "Skidanje suvišne uvlake" uklanja vodeći razmak koji dijeli svaki redak, tako da duboko ugniježđeni blok koda zalijepljen iz uređivača ne troši tokene na uvlaku model ne treba za reprodukciju strukture. "Ukloni popune/završne riječi u prozi" najagresivnija je opcija: briše lagani popis živica i funkcijskih riječi — vrlo, u osnovi, samo, nekako, kako bi i slično — iz običnih rečenica, zbog čega je prema zadanim postavkama isključena i najbolje je rezervirana za prozu, a ne za kod.
Zbroj uživo ispod izlaza prikazuje znakove i procijenjeni broj tokena prije i poslije, plus ušteđeni postotak, tako da možete vidjeti učinak svakog prekidača dok ga okrećete. Procjena tokena gruba je aproksimacija temeljena na znakovima (oko četiri znaka po tokenu), a ne točan broj iz tokenizatora bilo kojeg specifičnog modela — korisno za procjenu relativnih ušteda, a ne za postizanje točnog proračuna.
Sve radi kao običan tekst i obrada regularnih izraza u vašem pregledniku: nema parsera koda, nema AST-a i ništa što zalijepite nikada se nigdje ne učitava. To čini sigurnim pokretanje na privatnom izvornom kodu, internoj dokumentaciji ili nacrtima upita prije nego što napuste vaše računalo.