LLM-contextcompressor
Verklein de geplakte tekst of code zodat het minder tokens kost voordat u deze naar een LLM stuurt.
LLM-contextcompressor
Plak code of proza die u op het punt staat naar een LLM te sturen en deze tool snijdt de onderdelen af die tokens kosten zonder veel betekenis te hebben, zodat een groter deel van uw contextbudget naar de inhoud gaat die het model daadwerkelijk nodig heeft. Het is gebouwd voor de dagelijkse klus van het plakken van een bestand, een logboek of een lang instructieblok in een chatvenster en het kijken naar de stijging van het aantal tokens.
Vier schakelaars bepalen wat wordt verwijderd. "Stripcodeopmerkingen" verwijdert // , # en -- regelopmerkingen plus /* */ blokkeeropmerkingen - handig als u bronbestanden plakt waarbij de opmerkingen voor mensen zijn, niet voor het model. Met "lege regels en volgspaties samenvouwen" wordt het aantal lege regels teruggebracht tot één en worden de spaties aan het einde van elke regel verwijderd. "Strip redundante inspringing" verwijdert de leidende witruimte die elke regel deelt, zodat een diep genest codeblok geplakt vanuit een editor geen tokens verspilt aan inspringing; het model hoeft geen structuur te reproduceren. 'Verwijder opvul-/stopwoorden in proza' is de meest agressieve optie: het verwijdert een lichtgewicht lijst met heggen en functiewoorden - heel, in principe, gewoon, soort van, om en dergelijke - uit gewone zinnen. Daarom staat het standaard uit en is het het beste gereserveerd voor proza in plaats van voor code.
De live telling onder de uitvoer toont karakters en een geschat aantal tokens ervoor en erna, plus het opgeslagen percentage, zodat u het effect van elke schakelaar kunt zien terwijl u deze omdraait. De tokenschatting is een ruwe, op karakters gebaseerde benadering (ongeveer vier tekens per token), en geen exacte telling van de tokenizer van een specifiek model - handig voor het beoordelen van relatieve besparingen, niet voor het bereiken van een exact budget.
Alles draait als platte tekst en regex-verwerking in uw browser: er is geen codeparser, geen AST, en niets dat u plakt, wordt ooit ergens geüpload. Dat maakt het veilig om privébroncode, interne documentatie of conceptprompts te gebruiken voordat deze uw machine verlaten.