Robots.txt тестер
Проверьте, разрешены ли определенные пути или URL-адреса или заблокированы файлом robots.txt.
Robots.txt тестер
Вставьте содержимое файла robots.txt, укажите пути или полные URL-адреса для проверки, и этот инструмент точно скажет вам, какие сможет получить краулер, а какие заблокированы. Создан для ситуаций, когда страница неожиданно перестает индексироваться и нужно за несколько секунд подтвердить, виновато ли правило Disallow — без развертывания, без ожидания живого краула.
Выберите краулер из списка — Googlebot, Googlebot-Image, Bingbot, GPTBot, ClaudeBot — или введите собственный токен для тестирования своего бота. Инструмент применяет ту же логику соответствия, что и реальные краулеры: побеждает самое длинное подходящее правило, Allow имеет приоритет над Disallow одинаковой длины, а символы "*" (любая последовательность символов) и завершающий "$" (конец пути) работают точно так же, как в реальном robots.txt. Включите опцию "Показать решающее правило", чтобы увидеть, какая строка Allow или Disallow определила каждый результат.
Отчет включает все объявленные строки Sitemap и Crawl-delay для выбранного user-agent, а также предупреждает об ошибках синтаксиса — строка без двоеточия, правило перед первой строкой User-agent или неизвестные директивы. Выберите простую таблицу для быстрого просмотра или JSON для обработки результата скриптом или CI-проверкой.
Все работает в вашем браузере. Содержимое robots.txt и проверяемые пути никогда не загружаются, поэтому безопасно проверять правила для сайтов, которые еще не запущены или защищены авторизацией.