Robotlar, site haritaları ve teknik SEO dosyaları
Arama motorları milyarlarca sayfayı tarar. Rehberlik olmadan zaman kaybederler, önemli içerikleri kaçırırlar veya gizli tutmayı tercih ettiğiniz sayfaları indekslerler. Üç düz metin dosyası (robots.txt, XML site haritaları ve meta etiketler) bu yönlendirme işini otomatik olarak gerçekleştirir. Bunların nasıl oluşturulacağını bilmek teknik SEO için önemli bir konudur. Bu dosyalar, arama motorlarının sitenizin yapısını ve içerik önceliklerini nasıl keşfettiğinin, tarayıp anladığının temelini oluşturur.
robots.txt'yi anlama
Bir robots.txt dosyası, etki alanı kökünüzde bulunur (örneğin, example.com/robots.txt) ve arama motorlarına hangi yolları tarayabileceklerini ve hangilerini atlayacaklarını söyler. /admin/, /temp/ veya oturum açma işleminin ardındaki herhangi bir şeyi engelleyebilirsiniz. Biri olmadan, tarayıcılar her şeyi dizine eklemeye çalışacak ve kotalarını sıralamaya ihtiyaç duymayan sayfalarda harcayacaktır.
Sözdizimi basittir: User-agent tarayıcıyı adlandırır (Googlebot, Bingbot veya tüm botlar için bir yıldız işareti), Disallow yolları engeller, Allow istisnalar yaratır ve Crawl-delay kısma hız ister. Örneğin şöyle bir kural Disallow: /admin/ tüm tarayıcıların /admin/ altındaki herhangi bir şeye erişmesini engeller. Bir Allow: /admin/public/ Yukarıdaki kural o alt dizin için bir istisna oluşturur. Sıra önemlidir: tarayıcılar yukarıdan aşağıya doğru okur ve ilk eşleşen kuralda durur.
Bir kullanın robots.txt oluşturucu sözdizimini tahmin etmeden bir tane oluşturmak için. Oluşturucu size ortak kurallar konusunda yol gösterir ve geçerli çıktılar üretir. Canlı sitenize yüklemeden önce Google Search Console'un test aracını kontrol ederek test edin ve hazır olduğunuzda indirin. Pek çok site yanlışlıkla içeriği aşırı engelliyor; dağıtımdan önce neleri hariç tuttuğunuzu gözden geçirin.
XML site haritaları ve taranabilirlik
Bir sitemap.xml, sitenizdeki her sayfayı makine tarafından okunabilir biçimde, öncelik ipuçları ve son değiştirilme tarihleriyle birlikte listeler. Arama motorları bunu Site Haritası direktifi aracılığıyla robots.txt dosyanızda bulur veya doğrudan /sitemap.xml adresinden keşfeder. Binlerce sayfaya veya derin gezinmeye sahip siteler için site haritası, Google'ın içeriğinizi kaçırmamasını sağlamanın en hızlı yoludur.
Her giriş, sayfa URL'sini, önceliğini (0,0 ila 1,0, burada 1,0 en yüksek değerdir), güncelleme sıklığınız (haftalık, aylık vb.) ve son değişiklik tarihini içerir. Öncelikler, arama motorlarının en değerli sayfalarınıza odaklanmasına yardımcı olur; ana sayfanız veya dönüşüm sayfalarınız, derin destek dokümanlarından daha üst sıralarda yer almalıdır. Son değiştirilme tarihleri, tarayıcıların son ziyaretlerinden bu yana değişmeyen sayfaları atlamasına olanak tanıyarak tarama bütçesinden tasarruf sağlar.
Bir kullanın site haritası oluşturucu site yapınızdan bir tane oluşturmak için. En yüksek değere sahip sayfalarınız için öncelikleri belirleyin, XML'i sözdizimi hatalarına karşı test edin ve bunu Google Arama Konsolu ve Bing Web Yöneticisi Araçları'na gönderin. Her iki hizmet de kaç sayfa bulduklarını ve dizine eklediklerini takip ederek site haritanızın etkili bir şekilde kullanılıp kullanılmadığını görmenizi sağlar.
Humans.txt ve site ilişkilendirmesi
Robots.txt'den daha az bilinir ancak aynı derecede faydalıdır: humans.txt, bir web sitesinin arkasındaki ekibin itibarını gösteren bir sözleşmedir. Yazarları, tasarımcıları, teknoloji uzmanlarını, şirketinizin iletişim bilgilerini ve sitenizin desteklediği dilleri listeleyen /humans.txt adresindeki basit bir metin dosyasıdır. Bu tamamen şeffaflık amaçlıdır ve açıklığa ve ilişkilendirmeye önem verdiğinizi gösterir.
Arama motorları bunu görmezden gelir ancak sitenizin yığınını denetleyen geliştiriciler bunu takdir eder. Bakımlı bir human.txt dosyası, iş arayanlar veya ortaklar sitenizi kimin kurduğunu bilmek istediğinde de yardımcı olabilir. ile bir tane oluşturun human.txt oluşturucu Dakikalar içinde ekip ve şirket bilgilerinizi girin ve alan adı kökünüzde dağıtın.
Arama motorları için meta etiketler
HTML başlık bölümünüzdeki meta etiketleri, arama motorlarına ve sosyal platformlara içeriğinizi nasıl görüntüleyeceklerini anlatır. robots meta etiketi sayfa başına indekslemeyi kontrol eder: noindex bir sayfayı arama sonuçlarının dışında tutar (hazırlık ortamları veya yinelenen içerik için kullanışlıdır), nofollow tarayıcılara o sayfadaki bağlantıları takip etmemelerini söyler ve nosnippet arama sonuçlarının sayfa alıntılarını görüntülemesini engeller. Tek bir sayfa birden fazla yönergeyi birleştirebilir: <meta name="robots" content="noindex, follow"> sayfayı indekslememek, bağlantılarını takip etmek anlamına gelir.
Açık Grafik etiketleri (og:title, og:description, og:image) ve Twitter Kartı etiketleri, birisi sayfanızı sosyal medyada paylaştığında nelerin görüneceğini kontrol eder. Onlar olmadan platformlar genellikle yanlış tahminde bulunur. İyi hazırlanmış bir og:image tıklamaları çeker; Kesin bir og:başlık ve açıklama, hissedarlara bağlam sağlar. Bir kullanın meta etiket oluşturucu bunları doğru bir şekilde oluşturmak için; bunları sayfa başlıklarınıza kopyalayın ve yayına geçmeden önce doğrulayın. Tam olarak neyin oluşturulacağını görmek için etiketlerinizi Facebook Paylaşım Hata Ayıklayıcı ve Twitter Kart Doğrulayıcı'da test edin.
Teknik SEO dosyalarınızı test etme
Dosyalarınızı oluşturduktan sonra dağıtımdan önce doğrulayın. Google Search Console, Googlebot'un kurallarınızı nasıl yorumladığını gösteren bir robots.txt test aracı içerir. Site haritası denetçisi hangi sayfaların bulunduğunu ve dizine eklendiğini gösterir. XML doğrulayıcıları (ücretsiz çevrimiçi araçlar), site haritanızı sözdizimi hatalarına karşı kontrol eder. Meta etiketler için, tarayıcı Geliştirme Araçları ve platforma özel hata ayıklayıcılar (Facebook Paylaşım Hata Ayıklayıcı, Twitter Kart Doğrulayıcı), işaretlemenizin tam olarak nasıl oluşturulduğunu gösterir.
robots.txt kurallarınızı, izin vermek veya engellemek istediğiniz gerçek URL'lerle karşılaştırarak test edin. Aşırı kısıtlayıcı bir kural, indekslemenizi engelleyebilir. Kritik sayfaların en üst sıralarda yer almasını sağlamak için site haritanızın öncelik dağılımını test edin. Değişiklik yaptığınız sayfalardaki meta etiketleri doğrulayın. Bu on dakikalık süreç, hataları arama görünürlüğünüze zarar vermeden önce yakalar.
Gizlilik ve yalnızca yerel işleme
Teknik SEO, dosya yüklemeyi veya hesap oluşturmayı gerektirmemelidir. TextArray'in SEO araçları tamamen tarayıcınızda çalışır: robots.txt'nizi, site haritanızı, human.txt'nizi ve meta etiketlerinizi, bir sunucuya hiçbir şey göndermeden yerel olarak oluşturun. Verileriniz her zaman sizin kalır. Bu araçlar çevrimdışı da çalışır; yüklendikten sonra internet bağlantısı olmadan çalışırlar. Bu, gizliliği ön planda tutan teknik SEO'dur.
Bu dosyalar birlikte nasıl çalışır?
Robots.txt tarayıcılara neyi tarayacaklarını söyler; sitemap.xml onlara neyin var olduğunu ve neyin en önemli olduğunu gösterir; meta etiketleri, her sayfayı nasıl görüntülediklerini veya dizine eklediklerini kontrol eder. İyi yapılandırılmış bir robots.txt dosyası, hassas yolların taranmasını önler, site haritanız en önemli sayfaları öncelik sıralamasıyla vurgular ve kanonik meta etiketleri, tarayıcılara yinelenen içerik hakkında bilgi verir, böylece birden fazla URL'deki sıralama sinyallerini zayıflatmazlar. Bu üçü birbirinden ayrı parçalar değil, bir sistem oluşturuyor. Birlikte, arama motorlarının sitenizi tarama ve dizine ekleme etkinliğini önemli ölçüde artırırlar.
Teknik SEO'nuza başlarken
Sitenizin robots.txt dosyasıyla başlayın: bir tane oluşturun, bunu Search Console'un test aracında test edin ve dağıtın. Bir site haritasıyla takip edin: Önce en yüksek trafik alan sayfalarınızı listeleyin ve gerçekçi öncelikler atayın, ardından bunu Google Arama Konsolu ve Bing Web Yöneticisi Araçları'na gönderin. Tarayıcıların kaç sayfa bulduğunu görmek için kapsam raporlarını izleyin. Anahtar sayfalarınıza, özellikle de ana sayfanıza ve açılış sayfalarınıza meta etiketler ekleyin. meta etiket oluşturucu Doğru biçimlendirmeyi sağlamak için. Bu üç şeyi yaptığınızda, arama motorları sitenizi rehberlik olmadan yapabileceklerinden çok daha verimli bir şekilde tarayacak ve dizine ekleyecektir. Siteniz geliştikçe öncelikleri ve kuralları güncellemek için üç ayda bir tekrar kontrol edin.