Robots.txt tester
Verifica si rutas o URLs específicas están permitidas o bloqueadas por un archivo robots.txt.
Robots.txt tester
Pega el contenido de tu archivo robots.txt, lista las rutas o URLs completas que deseas verificar, y esta herramienta te dice exactamente cuáles puede acceder un crawler y cuáles están bloqueadas. Está diseñada para ese momento cuando una página deja de aparecer en resultados de búsqueda y necesitas confirmar en segundos si una regla Disallow es la culpable — sin desplegar cambios, sin esperar a que Google rastreé nuevamente.
Elige el crawler de la lista — Googlebot, Googlebot-Image, Bingbot, GPTBot, ClaudeBot — o escribe un token personalizado para probar tu propio bot. La herramienta aplica la misma lógica que los crawlers reales: gana la regla más larga coincidente, un Allow vence a un Disallow de igual longitud, y tanto "*" (cualquier secuencia de caracteres) como "$" al final (fin de ruta) funcionan exactamente igual que en un robots.txt real. Activa "Mostrar regla decisiva" para ver precisamente qué línea Allow o Disallow produjo cada resultado, para que dejes de adivinar.
Más allá de rutas individuales, el reporte lista cada línea Sitemap declarada y cualquier Crawl-delay para el user-agent seleccionado, e identifica problemas de sintaxis — una directiva sin dos puntos, una regla antes de cualquier línea User-agent, o campos que los crawlers no reconocen. Elige una tabla simple para lectura rápida o JSON para procesar el resultado con un script o CI.
Todo corre en tu navegador. El contenido de robots.txt y las rutas que pruebes nunca se envían a un servidor, así que es seguro verificar reglas de sitios que no han lanzado todavía o están protegidos por contraseña.