Compresor de context LLM
Reduceți textul sau codul lipit, astfel încât să coste mai puține jetoane înainte de a-l trimite la un LLM.
Compresor de context LLM
Lipiți codul sau proza pe care sunteți pe cale să o trimiteți la un LLM și acest instrument reduce părțile care costă jetoane fără a avea prea multă semnificație, astfel încât o mai mare parte din bugetul dvs. de context este destinat conținutului de care modelul are de fapt nevoie. Este creat pentru treaba de zi cu zi de a lipi un fișier, un jurnal sau un bloc de instrucțiuni lung într-o fereastră de chat și a urmări creșterea numărului de jetoane.
Patru comutatoare controlează ceea ce este eliminat. „Comentarii de cod de bandă” șterge // , # și -- comentariile de rând plus /* */ blocarea comentariilor - util atunci când lipiți fișiere sursă în care comentariile sunt pentru oameni, nu pentru model. „Restrângeți liniile goale și spațiile de sfârșit” reduce liniile goale la unul și reduce spațiile albe rătăcite la sfârșitul fiecărei linii. „Strip redundant indentation” elimină spațiul alb principal pe care îl partajează fiecare linie, astfel încât un bloc de cod profund imbricat lipit dintr-un editor nu irosește jetoane pe indentare, modelul nu trebuie să reproducă structura. „Eliminați cuvintele de umplere/oprire în proză” este cea mai agresivă opțiune: șterge o listă ușoară de garduri vii și cuvinte funcționale - foarte, practic, just, fel de, în ordine și similare - din propozițiile obișnuite, motiv pentru care este dezactivată în mod implicit și rezervată cel mai bine pentru proză și nu pentru cod.
Numărul în timp real de sub ieșire arată caractere și un număr estimat de jetoane înainte și după, plus procentul salvat, astfel încât să puteți vedea efectul fiecărei comutări pe măsură ce îl răsuciți. Estimarea jetonului este o aproximare aproximativă bazată pe caractere (aproximativ patru caractere per jeton), nu o numărare exactă din tokenizerul oricărui model specific - utilă pentru a evalua economiile relative, nu pentru a atinge un buget exact.
Totul rulează ca text simplu și procesare regex în browserul dvs.: nu există nici un parser de cod, nici AST și nimic din ce lipiți nu este încărcat vreodată. Acest lucru face ca rularea în siguranță a codului sursă privat, a documentației interne sau a solicitărilor de schiță înainte de a părăsi aparatul.