Генератор robots.txt
Создайте правильный файл robots.txt с предустановками, пользовательскими правилами, задержкой сканирования и ссылкой на карту сайта.
Генератор robots.txt
Создайте синтаксически правильный файл robots.txt за считанные секунды. Выберите предустановку — разрешить все, запретить все или указать собственные пути — установите пользовательский агент, и файл будет готов к копированию или загрузке как robots.txt для корня вашего сайта. Эти два пресета создают точные канонические формы: пустая строка Disallow, которая разрешает любое сканирование, или Disallow: /, которая блокирует весь сайт, что вам и нужно для промежуточного домена.
Поле user-agent принимает несколько имен ботов, разделенных запятыми, каждое из которых создается как отдельная строка User-agent в той же группе. Это позволяет быстро писать политики для ИИ-сканеров: введите GPTBot, ClaudeBot, Google-Extended, выберите настройку «запретить все», и правила будут применяться ко всем из них. Оставьте поле пустым, и группа будет нацелена на каждого сканера с *.
В пользовательской предустановке вы указываете пути Disallow и Allow, разделенные запятыми. Отсутствующая косая черта добавляется автоматически, подстановочные знаки, такие как /*.pdf, проходят без изменений, а строки разрешения идут первыми, поэтому исключения из более широких блоков читаются естественным образом. Необязательная задержка сканирования добавляет подсказку о регулировании, которую учитывают некоторые сканеры, такие как Bing, а в поле карты сайта добавляется строка карты сайта с абсолютным URL-адресом, ожидаемым поисковыми системами.
Файл полностью создается в вашем браузере — на сервер не отправляется ничего о структуре вашего сайта. Обратите внимание, что файл robots.txt контролирует сканирование, а не доступ: послушные боты следуют за ним, но это не механизм безопасности, поэтому используйте аутентификацию для всего, что действительно конфиденциально.