Aller au contenu
TextArray1.41.0
Tout en local

Compresseur de contexte LLM

Réduisez le texte ou le code collé afin qu'il coûte moins de jetons avant de l'envoyer à un LLM.

Entrée
Sortie
Outils connexes
Séparateur d'inviteManipulation de texte
Modèle d'inviteManipulation de texte
Supprimer les espaces supplémentairesNettoyage du texte
différence de clé i18nOutils de développement
Convertisseur TOML en JSONOutils de développement
SQL vers JSONOutils de développement
Compresseur de contexte LLM
Collez le code ou la prose que vous êtes sur le point d'envoyer à un LLM et cet outil supprime les parties qui coûtent des jetons sans avoir beaucoup de sens, de sorte qu'une plus grande partie de votre budget contextuel est consacrée au contenu dont le modèle a réellement besoin. Il est conçu pour la tâche quotidienne consistant à coller un fichier, un journal ou un long bloc d'instructions dans une fenêtre de discussion et à regarder le nombre de jetons augmenter.
Quatre bascules contrôlent ce qui est supprimé. "Retirer les commentaires de code" supprime les commentaires // , # et -- ainsi que les blocs /* */ - utile pour les fichiers source où les commentaires visent des humains, pas le modèle. "Réduire les lignes vides" ramène les séries de lignes vides à une seule et supprime les espaces en fin de ligne. "Retirer l'indentation redondante" supprime l'espace de début commun à chaque ligne, pour qu'un bloc de code imbriqué ne gaspille pas de jetons sur une indentation inutile au modèle. "Retirer les mots de remplissage" est l'option la plus agressive : elle supprime une courte liste de mots de remplissage - très, en gros, juste, en quelque sorte - d'une prose ordinaire, d'où sa désactivation par défaut.
Le décompte en direct sous la sortie affiche les caractères et un nombre estimé de jetons avant et après, ainsi que le pourcentage enregistré, afin que vous puissiez voir l'effet de chaque bascule lorsque vous l'actionnez. L'estimation du jeton est une approximation approximative basée sur les caractères (environ quatre caractères par jeton), et non un décompte exact provenant du tokenizer d'un modèle spécifique - utile pour juger des économies relatives, pas pour atteindre un budget exact.
Tout fonctionne en texte brut et expressions régulières dans le navigateur : pas d'analyseur, pas d'AST, et rien de ce que vous collez n'est téléchargé. Vous pouvez donc l'utiliser sur du code source privé ou des brouillons de prompt avant qu'ils ne quittent votre machine.
FAQ
Est-ce que cela changera ce que fait mon code ?
Les options par défaut (supprimer les commentaires, réduire les lignes vides, supprimer l'indentation) suppriment uniquement les espaces et les commentaires, le comportement du code n'est donc pas affecté. "Supprimer les mots de remplissage/stop" réécrit la prose et n'est pas destiné au code - laissez-le désactivé lors du collage des fichiers source.
Quelle est la précision du nombre de jetons ?
Il s'agit d'une estimation basée sur environ quatre caractères par jeton, une règle générale courante pour le texte anglais. Différents modèles sont tokenisés différemment, alors considérez le nombre comme un guide des économies relatives, et non comme un décompte exact.
Pourquoi la suppression des commentaires est-elle parfois erronée sur du code inhabituel ?
L'outil utilise une expression régulière simple, pas un analyseur de langage, donc un `//` ou `#` à l'intérieur d'une chaîne littérale peut parfois être confondu avec un marqueur de commentaire. Vérifiez le résultat avant de coller le code de production ailleurs.
Puis-je l'utiliser sur markdown ou sur de la prose simple, pas seulement sur du code ?
Oui. Désactivez « Supprimer les commentaires de code » si votre texte utilise # pour les titres markdown plutôt que les commentaires, et activez « Supprimer les mots de remplissage/stop » pour supprimer le langage de couverture de la prose.
Mon texte est-il téléchargé quelque part ?
Non. La compression s'exécute entièrement dans votre navigateur en utilisant un traitement de chaîne simple : votre texte ne quitte jamais votre appareil.