Компрессор контекста LLM

Сократите вставленный текст или код, чтобы он стоил меньше жетонов, прежде чем отправлять его в LLM.

Входные данные

Удаление комментариев к кодуСвернуть пустые строки и конечные пробелыУдалить лишние отступыУдалить слова-заполнители/стоп-слова в прозе

Выходные данные

Компрессор контекста LLM

Вставьте код или текст, который вы собираетесь отправить в LLM, и этот инструмент обрежет части, которые стоят жетонов и не несут особого смысла, поэтому большая часть вашего контекстного бюджета уходит на контент, который действительно нужен модели. Он создан для повседневной работы по вставке файла, журнала или длинного блока инструкций в окно чата и наблюдения за увеличением количества токенов.

Четыре переключателя управляют тем, что удаляется. «Очистить комментарии кода» удаляет // , # и -- комментарии к строкам, а также блокирует комментарии /* */ — это удобно, когда вы вставляете исходные файлы, где комментарии предназначены для людей, а не для модели. «Свернуть пустые строки и конечные пробелы» сокращает количество пустых строк до одной и обрезает случайные пробелы в конце каждой строки. «Удалить избыточные отступы» удаляет ведущие пробелы, которые разделяют каждую строку, поэтому глубоко вложенный блок кода, вставленный из редактора, не тратит впустую токены на отступы, которые модели не нужны для воспроизведения структуры. «Удалить слова-заполнители/стоп-слова в прозе» — самый агрессивный вариант: он удаляет легкий список защитных и служебных слов — очень, по сути, просто, вроде, для того и подобных — из обычных предложений, поэтому по умолчанию он отключен и лучше всего используется для прозы, а не для кода.

Живой подсчет под выводом показывает символы и примерное количество токенов до и после, а также сохраненный процент, поэтому вы можете видеть эффект каждого переключения при его переключении. Оценка токена представляет собой приблизительную оценку на основе символов (около четырех символов на токен), а не точный подсчет токенизатора какой-либо конкретной модели. Это полезно для оценки относительной экономии, а не для достижения точного бюджета.

Все выполняется в вашем браузере как обычный текст и обработка регулярных выражений: нет ни анализатора кода, ни AST, и ничего, что вы вставляете, никогда никуда не загружается. Это позволяет безопасно запускать частный исходный код, внутреннюю документацию или черновики запросов до того, как они покинут ваш компьютер.

FAQ

Изменит ли это то, что делает мой код?

Переключатели по умолчанию (удаление комментариев, свертывание пустых строк, удаление отступов) удаляют только пробелы и комментарии, поэтому на поведение кода это не влияет. «Удалить слова-заполнители/стоп-слова» переписывает текст и не предназначен для кода — оставьте его при вставке исходных файлов.

Насколько точен подсчет токенов?

Это оценка, основанная примерно на четырех символах на токен, что является общепринятым правилом для английского текста. Разные модели токенизируются по-разному, поэтому воспринимайте это число как показатель относительной экономии, а не как точный подсчет.

Почему удаление комментариев иногда неправильно в необычном коде?

Инструмент использует простое регулярное выражение, а не языковой анализатор, поэтому `//` или `#` внутри строкового литерала иногда можно принять за маркер комментария. Просмотрите выходные данные, прежде чем вставлять производственный код в другое место.

Могу ли я использовать его в markdown или в простой прозе, а не только в коде?

Да. Отключите «Удалить комментарии к коду», если в вашем тексте используется # для заголовков markdown, а не для комментариев, и включите «Удалить слова-заполнители/стоп-слова», чтобы удалить из прозы хеджирующий язык.

Мой текст где-нибудь загружен?

Нет. Сжатие полностью выполняется в вашем браузере с использованием простой обработки строк — ваш текст никогда не покидает ваше устройство.

Компрессор контекста LLM

Связанные инструменты

Компрессор контекста LLM

FAQ