Robots.txt тестер
Перевірте, дозволені чи заблоковані певні шляхи або URL-адреси файлом robots.txt.
Robots.txt тестер
Вставте вміст файлу robots.txt, вкажіть шляхи або повні URL-адреси для перевірки, і цей інструмент точно скаже, які зможе отримати crawler, а які заблоковані. Створений для ситуацій, коли сторінка раптово перестає індексуватись і потрібно за кілька секунд підтвердити, чи винне правило Disallow — без розгортання, без чекання на живий краул.
Виберіть crawler зі списку — Googlebot, Googlebot-Image, Bingbot, GPTBot, ClaudeBot — або введіть власний токен для тестування свого бота. Інструмент застосовує ту саму логіку відповідності, що й справжні crawler'и: перемагає найдовше відповідне правило, Allow має пріоритет над Disallow однакової довжини, а символи "*" (будь-яка послідовність символів) і кінцевий "$" (кінець шляху) працюють точно так, як у справжньому robots.txt. Увімкніть опцію "Показати вирішальне правило", щоб бачити, яка строка Allow або Disallow визначила кожен результат.
Звіт включає всі оголошені рядки Sitemap і Crawl-delay для вибраного user-agent, а також попереджує про синтаксичні помилки — рядок без двокрапки, правило перед першим рядком User-agent або невідомі директиви. Виберіть простої таблиці для швидкого перегляду або JSON для обробки результату скриптом або CI-перевіркою.
Усе працює у вашому браузері. Вміст robots.txt і перевірені шляхи ніколи не завантажуються, тому безпечно перевіряти правила для сайтів, які ще не запущені або захищені авторизацією.