Kompresor konteksta LLM
Skrčite prilepljeno besedilo ali kodo, da bo stalo manj žetonov, preden ga pošljete LLM.
Kompresor konteksta LLM
Prilepite kodo ali prozo, ki jo nameravate poslati LLM, in to orodje zmanjša dele, ki stanejo žetone, ne da bi imeli večji pomen, tako da gre več vašega kontekstnega proračuna za vsebino, ki jo model dejansko potrebuje. Zgrajen je za vsakodnevno opravilo lepljenja datoteke, dnevnika ali dolgega bloka navodil v okno za klepet in opazovanje naraščanja števila žetonov.
Štirje preklopi nadzorujejo, kaj se odstrani. »Komentarji črtne kode« izbrišejo // , # in -- vrstične komentarje ter /* */ blokovne komentarje — priročno, ko prilepite izvorne datoteke, kjer so komentarji namenjeni ljudem, ne modelu. »Strni prazne vrstice in končne presledke« zmanjša nabore praznih vrstic na eno in obreže potepuške presledke na koncu vsake vrstice. »Odstranjevanje odvečnega zamika« odstrani začetni presledek, ki si ga deli vsaka vrstica, tako da globoko ugnezdeni blok kode, prilepljen iz urejevalnika, ne zapravlja žetonov pri zamiku, saj modelu ni treba reproducirati strukture. »Odstrani polnilne/zaključne besede v prozi« je najagresivnejša možnost: izbriše lahek seznam hedges in funkcijskih besed — zelo, v bistvu, samo, nekako, da bi in podobno — iz običajnih stavkov, zato je privzeto izklopljena in je najbolje rezervirana za prozo in ne za kodo.
Seštevek v živo pod izhodom prikazuje znake in ocenjeno število žetonov pred in po njem ter prihranjen odstotek, tako da lahko vidite učinek vsakega preklopa, ko ga obrnete. Ocena žetona je grob približek, ki temelji na znakih (približno štirje znaki na žeton), ni natančno štetje iz tokenizerja katerega koli specifičnega modela – uporabno za presojo relativnih prihrankov, ne za doseganje natančnega proračuna.
Vse teče kot golo besedilo in obdelava regularnih izrazov v vašem brskalniku: ni razčlenjevalnika kode, ni AST in nič, kar prilepite, ni nikoli nikamor naloženo. Zaradi tega je varno zagnati zasebno izvorno kodo, interno dokumentacijo ali osnutke pozivov, preden zapustijo vaš računalnik.