Generador de robots.txt
Cree un archivo robots.txt correcto con ajustes preestablecidos, reglas personalizadas, retraso de rastreo y un enlace al mapa del sitio.
Generador de robots.txt
Genere un archivo robots.txt sintácticamente correcto en segundos. Elija un ajuste preestablecido (permitir todo, no permitir todo o rutas personalizadas), configure el agente de usuario y el archivo aparecerá listo para copiar o descargar como robots.txt para la raíz de su sitio. Los dos ajustes preestablecidos producen las formas canónicas exactas: una línea vacía Disallow que permite todo el rastreo, o Disallow: / que bloquea todo el sitio, que es lo que desea en un dominio provisional.
El campo user-agent acepta varios nombres de bot separados por comas, cada uno emitido como su propia línea User-agent en el mismo grupo. Eso hace que las políticas de los rastreadores de IA se escriban rápidamente: ingrese GPTBot, ClaudeBot, Google-Extended, elija el valor preestablecido de no permitir todo y las reglas se aplicarán a todos ellos. Deje el campo vacío y el grupo se dirigirá a todos los rastreadores con archivos *.
Con el ajuste preestablecido personalizado, enumera las rutas Permitir y No permitir separadas por comas. La barra diagonal que falta se agrega automáticamente, los comodines como /*.pdf pasan sin cambios y las líneas Permitir aparecen primero para que las excepciones a los bloques más amplios se lean de forma natural. Un retraso de rastreo opcional agrega la sugerencia de limitación que algunos rastreadores como Bing respetan, y el campo del mapa del sitio agrega una línea del mapa del sitio con la URL absoluta que esperan los motores de búsqueda.
El archivo se genera completamente en su navegador; nada sobre la estructura de su sitio se envía a un servidor. Tenga en cuenta que robots.txt controla el rastreo, no el acceso: los robots obedientes lo siguen, pero no es un mecanismo de seguridad, así que utilice la autenticación para cualquier cosa realmente privada.