Генератор robots.txt
Створіть правильний файл robots.txt із попередніми настройками, спеціальними правилами, затримкою сканування та посиланням на карту сайту.
Генератор robots.txt
Згенеруйте синтаксично правильний robots.txt за лічені секунди. Виберіть попереднє налаштування — дозволити все, заборонити все або власні шляхи — установіть агент користувача, і файл буде готовий для копіювання або завантаження як robots.txt для кореня вашого сайту. Два попередні налаштування створюють точні канонічні форми: порожній рядок Disallow, який дозволяє будь-яке сканування, або Disallow: /, який блокує весь сайт, що є тим, що вам потрібно для проміжного домену.
Поле user-agent приймає кілька імен ботів, розділених комами, кожне з яких видається як окремий рядок User-agent в одній групі. Завдяки цьому політики сканера штучного інтелекту можна швидко писати: введіть GPTBot, ClaudeBot, Google-Extended, виберіть попереднє налаштування disallow-everything, і правила застосовуватимуться до всіх. Залиште поле порожнім, і група буде націлена на кожного сканера з *.
За допомогою спеціального стилю ви перераховуєте шляхи заборонити та дозволити, розділивши їх комами. Відсутня скісна риска додається автоматично, символи узагальнення, такі як /*.pdf, проходять без змін, а рядки дозволу стоять першими, тому винятки для ширших блоків читаються природно. Необов’язкова затримка сканування додає підказку щодо обмеження, яку використовують деякі сканери, наприклад Bing, а поле карти сайту додає рядок карти сайту з абсолютною URL-адресою, яку очікують пошукові системи.
Файл повністю генерується у вашому браузері — нічого про структуру вашого сайту не надсилається на сервер. Зауважте, що robots.txt контролює сканування, а не доступ: слухняні боти слідкують за ним, але це не механізм безпеки, тому використовуйте автентифікацію для всього, що справді є конфіденційним.