LLM kontextový kompresor
Zmenšete vložený text nebo kód, aby to stálo méně tokenů, než jej odešlete do LLM.
LLM kontextový kompresor
Vložte kód nebo prózu, kterou se chystáte odeslat do LLM, a tento nástroj ořízne části, které stojí tokeny, aniž by to mělo velký význam, takže větší část vašeho kontextového rozpočtu jde na obsah, který model skutečně potřebuje. Je vytvořen pro každodenní práci spočívající v vkládání souboru, protokolu nebo dlouhého bloku instrukcí do okna chatu a sledování stoupajícího počtu tokenů.
Čtyři přepínače ovládají, co se odstraní. "Odstranit komentáře kódu" odstraní // , # a -- řádkové komentáře plus /* */ blokové komentáře – užitečné, když vkládáte zdrojové soubory tam, kde jsou komentáře pro lidi, ne pro model. "Collapse prázdné řádky a koncové mezery" redukuje počet prázdných řádků na jeden a ořezává zbloudilé mezery na konci každého řádku. "Redundantní odsazení pásu" odstraňuje úvodní mezery, které sdílí každý řádek, takže hluboce vnořený blok kódu vložený z editoru neplýtvá tokeny na odsazení, model nepotřebuje reprodukovat strukturu. „Odstranit výplňová/zastavovací slova v próze“ je nejagresivnější možnost: odstraní z běžných vět lehký seznam hedgeů a funkčních slov – velmi, v podstatě, jen, tak, aby a podobně – z běžných vět, proto je ve výchozím nastavení vypnutá a nejlépe vyhrazená pro prózu, nikoli pro kód.
Živý záznam pod výstupem ukazuje znaky a odhadovaný počet tokenů před a po, plus uložené procento, takže můžete vidět účinek každého přepínače, když jej přepnete. Odhad tokenu je hrubou aproximací založenou na znacích (asi čtyři znaky na token), nejde o přesný počet z tokenizeru žádného konkrétního modelu – užitečné pro posouzení relativních úspor, nikoli pro dosažení přesného rozpočtu.
Vše běží jako prostý text a zpracování regulárních výrazů ve vašem prohlížeči: neexistuje žádný analyzátor kódu, žádné AST a nic, co vložíte, se nikdy nikam nenahraje. Díky tomu je bezpečné spouštět soukromý zdrojový kód, interní dokumentaci nebo výzvy k návrhu, než opustí váš počítač.