Roboty, mapy stránok a technické súbory SEO
Vyhľadávače prehľadávajú miliardy stránok. Bez vedenia strácajú čas, strácajú dôležitý obsah alebo indexujú stránky, ktoré by ste radšej uchovali v súkromí. Tri súbory s obyčajným textom - robots.txt, XML sitemaps a meta tagy - vykonávajú túto vodiacu prácu automaticky. Vedieť, ako ich postaviť, je tabuľkové stávky pre technické SEO. Tieto súbory tvoria základ toho, ako vyhľadávacie nástroje zisťujú, prehľadávajú a chápu štruktúru a priority obsahu vašej lokality.
Pochopenie súboru robots.txt
Súbor robots.txt sa nachádza v koreňovom adresári vašej domény (napríklad example.com/robots.txt) a informuje vyhľadávacie nástroje, ktoré cesty môžu prehľadávať a ktoré majú preskočiť. Môžete zablokovať /admin/, /temp/ alebo čokoľvek iné za prihlásením. Bez neho sa indexové prehľadávače pokúsia indexovať všetko, čím stratia svoju kvótu na stránkach, ktoré nemusia hodnotiť.
Syntax je jednoduchá: User-agent pomenuje indexový prehľadávač (Googlebot, Bingbot alebo hviezdička pre všetky roboty), Disallow blokuje cesty, Allow vytvára výnimky a Crawl-delay škrtiace klapky žiadajú rýchlosť. Napríklad pravidlo ako Disallow: /admin/ zabraňuje všetkým prehľadávačom v prístupe k čomukoľvek pod /admin/. An Allow: /admin/public/ pravidlo vyššie vytvorí výnimku pre tento podadresár. Na poradí záleží: prehľadávače čítajú zhora nadol a zastavia sa pri prvom zhode.
Použite a generátor robots.txt zostaviť bez hádania syntaxe. Generátor vás prevedie bežnými pravidlami a vytvorí platný výstup. Pred nahraním na svoj aktívny web ho otestujte v testovacom nástroji Google Search Console a stiahnite si ho, keď bude pripravený. Mnoho stránok náhodne nadmerne blokuje obsah - pred nasadením si skontrolujte, čo vylučujete.
XML sitemap a indexové prehľadávanie
Súbor sitemap.xml uvádza každú stránku na vašom webe v strojovo čitateľnom formáte s prioritnými radami a dátumami poslednej úpravy. Vyhľadávače ho nájdu vo vašom súbore robots.txt prostredníctvom smernice Sitemap alebo ho objavia priamo na /sitemap.xml. Pre weby s tisíckami stránok alebo hĺbkovou navigáciou je mapa webu najrýchlejším spôsobom, ako zabezpečiť, aby Google nezmeškal váš obsah.
Každá položka obsahuje adresu URL stránky, jej prioritu (0,0 až 1,0, kde 1,0 je najvyššia), frekvenciu, ktorú ju aktualizujete (týždenne, mesačne atď.) a dátum poslednej úpravy. Priority pomáhajú vyhľadávacím nástrojom zamerať sa na vaše najcennejšie stránky - vaša domovská stránka alebo stránky konverzie by mali mať vyššie hodnotenie ako dokumenty podrobnej podpory. Dátumy poslednej úpravy umožňujú indexovým prehľadávačom preskočiť stránky, ktoré sa od ich poslednej návštevy nezmenili, čím šetrí rozpočet na prehľadávanie.
Použite a generátor mapy stránok na vytvorenie jedného zo štruktúry vašej lokality. Zadajte priority pre svoje stránky s najvyššou hodnotou, otestujte XML na chyby syntaxe a odošlite ho do Google Search Console a Bing Webmaster Tools. Obe služby sledujú, koľko stránok našli a indexovali, vďaka čomu máte prehľad o tom, či sa vaša mapa stránok efektívne používa.
Humans.txt a uvedenie zdroja webu
Menej známy ako robots.txt, ale rovnako užitočný: humans.txt je konvencia, ktorá pripisuje zásluhy tímu za webom. Je to jednoduchý textový súbor na /humans.txt so zoznamom autorov, dizajnérov, technológov, kontaktných informácií vašej spoločnosti a jazykov, ktoré vaša stránka podporuje. Je to čisto kvôli transparentnosti a ukazuje, že vám záleží na otvorenosti a priraďovaní.
Vyhľadávače to ignorujú, ale vývojári, ktorí kontrolujú zásobníky vašich stránok, to oceňujú. Dobre udržiavaný humans.txt môže tiež pomôcť, keď chcú uchádzači o prácu alebo partneri vedieť, kto vytvoril vašu stránku. Vytvorte si ho s a generátor humans.txt za pár minút vyplňte podrobnosti o svojom tíme a spoločnosti a nasaďte ho v koreňovom adresári domény.
Meta tagy pre vyhľadávače
Metaznačky v sekcii hlavičky HTML informujú vyhľadávače a sociálne platformy, ako majú zobrazovať váš obsah. robots metaznačka riadi indexovanie na stránku: noindex ponecháva stránku mimo výsledkov vyhľadávania (užitočné pre prostredia na prípravu alebo duplicitný obsah), nofollow informuje prehľadávače, aby nesledovali odkazy na tejto stránke a nosnippet zabraňuje zobrazovaniu úryvkov stránok vo výsledkoch vyhľadávania. Jedna stránka môže kombinovať viacero príkazov: <meta name="robots" content="noindex, follow"> znamená neindexovať stránku, ale sledovať jej odkazy.
Značky Open Graph (og:title, og:description, og:image) a značky Twitter Card ovládajú, čo sa zobrazí, keď niekto zdieľa vašu stránku na sociálnych médiách. Bez nich platformy hádajú - často nesprávne. Dobre vytvorený og:image priťahuje kliknutia; presný og:title a popis poskytujú akcionárom kontext. Použite a generátor metaznačiek správne ich postaviť; skopírujte ich do hlavičiek stránok a overte ich pred zverejnením. Otestujte svoje značky v nástroji Facebook Sharing Debugger a Twitter's Card Validator a zistite, čo presne sa vykreslí.
Testovanie vašich technických SEO súborov
Po vytvorení súborov ich pred nasadením overte. Google Search Console obsahuje tester súboru robots.txt, ktorý vám ukáže, ako Googlebot interpretuje vaše pravidlá. Inšpektor mapy webu zobrazuje, ktoré stránky boli nájdené a indexované. XML validátory (bezplatné online nástroje) kontrolujú váš súbor Sitemap, či neobsahuje syntaktické chyby. V prípade metaznačiek, nástroje DevTools prehliadača a ladiace nástroje špecifické pre platformu (Facebook Sharing Debugger, Twitter Card Validator) presne zobrazujú, ako sa vaše značky vykresľujú.
Otestujte svoje pravidlá súboru robots.txt podľa skutočných webových adries, ktoré chcete povoliť alebo blokovať. Príliš obmedzujúce pravidlo môže zaťažiť vaše indexovanie. Otestujte distribúciu priorít svojho súboru Sitemap, aby ste zaistili najvyššie hodnotenie kritických stránok. Overte metaznačky na stránkach, na ktorých ste vykonali zmeny. Tento desaťminútový proces zachytí chyby skôr, ako poškodia vašu viditeľnosť vyhľadávania.
Ochrana osobných údajov a spracovanie iba na miestnej úrovni
Technické SEO by nemalo vyžadovať nahrávanie súborov alebo vytváranie účtov. SEO nástroje TextArray bežia úplne vo vašom prehliadači: generujte svoj súbor robots.txt, mapu stránok, humans.txt a metaznačky lokálne bez odosielania čohokoľvek na server. Vaše údaje zostanú vždy vaše. Tieto nástroje fungujú aj offline - po načítaní fungujú bez internetového pripojenia. To je technické SEO na prvom mieste na ochranu osobných údajov.
Ako tieto súbory spolupracujú
Robots.txt informuje prehľadávače, čo majú prehľadávať; sitemap.xml im ukazuje, čo existuje a na čom najviac záleží; metaznačky riadia spôsob zobrazenia alebo indexovania každej stránky. Dobre nakonfigurovaný súbor robots.txt zabraňuje prehľadávaniu citlivých ciest, vaša mapa webu zvýrazní stránky, na ktorých záleží najviac, pomocou hodnotenia priority a kanonické metaznačky informujú indexové prehľadávače o duplicitnom obsahu, aby nezriedili signály hodnotenia na viacerých adresách URL. Tieto tri tvoria systém, nie izolované časti. Spoločne výrazne zlepšujú, ako efektívne vyhľadávacie nástroje prehľadávajú a indexujú vašu stránku.
Začíname s technickým SEO
Začnite so súborom robots.txt svojho webu: vygenerujte ho, otestujte ho v testovacom nástroji Search Console a nasaďte ho. Postupujte podľa mapy webu: najprv uveďte svoje stránky s najvyššou návštevnosťou a priraďte im reálne priority, potom ich odošlite do služby Google Search Console a Bing Webmaster Tools. Sledujte prehľady pokrytia a zistite, koľko stránok našli indexové prehľadávače. Pridajte metaznačky na svoje kľúčové stránky, najmä na domovskú stránku a vstupné stránky, pomocou generátor metaznačiek aby sa zabezpečilo správne formátovanie. Urobte tieto tri veci a vyhľadávače budú prehľadávať a indexovať vaše stránky oveľa efektívnejšie, ako by to robili bez vedenia. Vráťte sa sem raz za štvrťrok, aby ste aktualizovali priority a pravidlá podľa toho, ako sa váš web vyvíja.