Robots.txt oluşturucu
Ön ayarlar, özel kurallar, tarama gecikmesi ve site haritası bağlantısıyla doğru bir robots.txt dosyası oluşturun.
Robots.txt oluşturucu
Saniyeler içinde sözdizimsel olarak doğru bir robots.txt dosyası oluşturun. Bir ön ayar seçin (her şeye izin verin, her şeye izin vermeyin veya özel yollar), kullanıcı aracısını ayarlayın; dosya, sitenizin kökü için robots.txt olarak kopyalanmaya veya indirilmeye hazır görünür. İki ön ayar tam kanonik formlar üretir: tüm taramaya izin veren boş bir İzin Verme satırı veya tüm siteyi engelleyen İzin Verme: /, bir hazırlama alanında istediğiniz şey budur.
Kullanıcı aracısı alanı, her biri aynı grupta kendi Kullanıcı aracısı satırı olarak yayınlanan, virgülle ayrılmış birkaç bot adını kabul eder. Bu, AI tarayıcı politikalarının yazılmasını hızlandırır: GPTBot, ClaudeBot, Google-Extulated'e girin, her şeye izin verme ön ayarını seçin ve kurallar hepsine uygulanır. Alanı boş bırakın; grup * ile tüm tarayıcıları hedefler.
Özel ön ayarla, İzin Verme ve İzin Ver yollarını virgülle ayırarak listelersiniz. Eksik bir baştaki eğik çizgi otomatik olarak eklenir, /*.pdf gibi joker karakterler değişmeden geçer ve İzin Ver satırları önce gelir, böylece daha geniş bloklara ilişkin istisnalar doğal olarak okunur. İsteğe bağlı bir Tarama gecikmesi, Bing gibi bazı tarayıcıların saygı duyduğu kısıtlama ipucunu ekler ve site haritası alanı, arama motorlarının beklediği mutlak URL'yi içeren bir Site Haritası satırı ekler.
Dosya tamamen tarayıcınızda oluşturulur; site yapınızla ilgili hiçbir şey bir sunucuya gönderilmez. Robots.txt dosyasının erişimi değil taramayı kontrol ettiğini unutmayın: itaatkar botlar bunu takip eder, ancak bu bir güvenlik mekanizması değildir; bu nedenle gerçekten özel olan her şey için kimlik doğrulamayı kullanın.