Robots.txt tester
Belirli yolların veya URL'lerin bir robots.txt dosyası tarafından izin verilip verilmediğini kontrol edin.
Robots.txt tester
Bir robots.txt dosyasının içeriğini yapıştırın, kontrol etmek istediğiniz yolları veya tam URL'leri listeleyin ve bu araç tam olarak hangilerinin bir crawler tarafından alınabileceğini ve hangilerinin engellendiğini söyler. Bir sayfa aniden arama sonuçlarından kaybolduğunda ve bir Disallow kuralının neden olup olmadığını saniyeler içinde doğrulamanız gerektiğinde kullanılmak üzere tasarlanmıştır — dağıtım gerektirmez ve canlı tarama beklemenize gerek kalmaz.
Kullanıcı aracı listesinden crawler'ı seçin — Googlebot, Googlebot-Image, Bingbot, GPTBot, ClaudeBot — veya kendi botunuzu test etmek için özel bir token yazın. Araç, gerçek crawler'ların kullandığı eşleştirme mantığını uygular: en uzun eşleşen kural kazanır, bir Allow eşit uzunluktaki bir Disallow'ı yener ve hem "*" (karakterlerin herhangi bir dizisi) hem de sonda "$" (yolun sonu) canlı bir robots.txt'de olduğu gibi çalışır. Her sonucu hangi Allow veya Disallow satırının ürettiğini görmek için "Karar veren kuralı göster" seçeneğini açın.
Tek tek yolların ötesinde rapor, dosyanın bildirdiği tüm Sitemap satırlarını ve seçilen kullanıcı aracısı için ayarlanan Crawl-delay'ı listeler ve sözdizimi sorunlarını işaretler — iki nokta üst üste olmayan bir satır, bir User-agent satırından önceki bir kural veya bilinmeyen bir direktif. Hızlı bir okumaş için düz bir tablo seçin veya sonucu bir komut dosyasına veya CI kontrolüne aktarmak için JSON kullanın.
Her şey tarayıcınızda çalışır. robots.txt içeriği ve test ettiğiniz yollar hiçbir yere yüklenmez, bu nedenle henüz başlatılmamış veya oturum açma korumalı siteler için kuralları kontrol etmek güvenlidir.