LLM-Kontextkompressor
Verkleinern Sie eingefügten Text oder Code, damit weniger Tokens anfallen, bevor Sie ihn an ein LLM senden.
LLM-Kontextkompressor
Fügen Sie Code oder Prosa ein, die Sie an ein LLM senden möchten, und dieses Tool entfernt die Teile, die Token kosten, ohne viel Bedeutung zu haben, sodass mehr von Ihrem Kontextbudget für Inhalte verwendet wird, die das Modell tatsächlich benötigt. Es ist für die alltägliche Aufgabe konzipiert, eine Datei, ein Protokoll oder einen langen Anweisungsblock in ein Chat-Fenster einzufügen und zu beobachten, wie die Token-Zählung steigt.
Vier Schalter steuern, was entfernt wird. „Codekommentare entfernen“ löscht Zeilenkommentare // , # und -- sowie Blockkommentare /* */ – praktisch, wenn Sie Quelldateien einfügen, in denen die Kommentare für Menschen und nicht für das Modell bestimmt sind. „Leerzeilen und nachgestellte Leerzeichen reduzieren“ reduziert Leerzeilen auf eine und schneidet vereinzelte Leerzeichen am Ende jeder Zeile ab. „Redundante Einrückung entfernen“ entfernt den führenden Leerraum, den jede Zeile gemeinsam hat, sodass ein tief verschachtelter Codeblock, der aus einem Editor eingefügt wird, keine Token für Einrückungen verschwendet, das Modell muss die Struktur nicht reproduzieren. „Füll-/Stoppwörter in Prosa entfernen“ ist die aggressivste Option: Sie löscht eine übersichtliche Liste von Hedge- und Funktionswörtern – im Grunde genommen sehr, nur, irgendwie, um und ähnlich – aus gewöhnlichen Sätzen, weshalb sie standardmäßig deaktiviert ist und am besten für Prosa und nicht für Code reserviert ist.
Die Live-Liste unter der Ausgabe zeigt Zeichen und eine geschätzte Token-Anzahl vorher und nachher sowie den gespeicherten Prozentsatz, sodass Sie die Auswirkung jedes Schalters sehen können, während Sie ihn umdrehen. Bei der Token-Schätzung handelt es sich um eine grobe zeichenbasierte Annäherung (ungefähr vier Zeichen pro Token), nicht um eine exakte Zählung aus dem Tokenizer eines bestimmten Modells – nützlich für die Beurteilung relativer Einsparungen, nicht für die Festlegung eines genauen Budgets.
Alles läuft als reine Text- und Regex-Verarbeitung in Ihrem Browser ab: Es gibt keinen Code-Parser, kein AST und nichts, was Sie einfügen, wird jemals irgendwo hochgeladen. Dadurch ist die Ausführung mit privatem Quellcode, interner Dokumentation oder Entwurfsaufforderungen sicher, bevor sie Ihren Computer verlassen.