Компресор контексту LLM
Згорніть вставлений текст або код, щоб він коштував менше токенів, перш ніж надсилати його до LLM.
Компресор контексту LLM
Вставте код або прозу, які ви збираєтеся надіслати до LLM, і цей інструмент обрізає частини, які коштують жетони, не несучи особливого значення, тож більша частина вашого контекстного бюджету йде на вміст, який дійсно потрібен моделі. Він створений для повсякденної роботи: вставляти файл, журнал або довгий блок інструкцій у вікно чату та спостерігати за збільшенням кількості токенів.
Чотири перемикачі контролюють, що буде видалено. «Коментарі до смуги коду» видаляє // , # і -- коментарі рядків плюс /* */ коментарі блоку — це зручно, коли ви вставляєте вихідні файли, де коментарі призначені для людей, а не для моделі. «Згорнути порожні рядки та пробіли в кінці» зменшує кількість порожніх рядків до одного та обрізає випадкові пробіли в кінці кожного рядка. «Видалити надлишковий відступ» видаляє початкові пробіли, спільні для кожного рядка, тому глибоко вкладений блок коду, вставлений із редактора, не витрачає маркери на відступи, тому моделі не потрібно відтворювати структуру. «Видалити заповнювачі/стоп-слова в прозі» — це найагресивніший варіант: він видаляє легкий список хеджів і службових слів — дуже, в основному, просто, свого роду, для того, щоб і подібні — зі звичайних речень, тому його вимкнено за замовчуванням і краще зарезервувати для прози, а не для коду.
Підрахунок у реальному часі під результатом показує символи та приблизну кількість жетонів до та після, а також відсоток збереження, тож ви можете бачити ефект кожного перемикача, перегортаючи його. Оцінка токенів є приблизним наближенням на основі символів (приблизно чотири символи на токен), а не точним підрахунком від токенізатора будь-якої конкретної моделі — корисно для оцінки відносної економії, а не для досягнення точного бюджету.
Усе працює як звичайний текст і обробка регулярних виразів у вашому браузері: немає аналізатора коду, немає AST, і нічого, що ви вставляєте, ніколи нікуди не завантажується. Це робить безпечним запуск приватного вихідного коду, внутрішньої документації або чернеток підказок, перш ніж вони покинуть вашу машину.