Roboti, karte web stranica i tehničke SEO datoteke
Tražilice indeksiraju milijarde stranica. Bez vodstva gube vrijeme, propuštaju važan sadržaj ili indeksiraju stranice koje biste radije zadržali privatnima. Tri datoteke običnog teksta—robots.txt, XML karte web-mjesta i meta oznake—automatski obavljaju ovaj posao usmjeravanja. Znati kako ih izgraditi je ulog za tehnički SEO. Ove datoteke čine temelj načina na koji tražilice otkrivaju, pretražuju i razumiju strukturu i prioritete sadržaja vaše stranice.
Razumijevanje robots.txt
Datoteka robots.txt nalazi se u korijenu vaše domene (na primjer, example.com/robots.txt) i govori tražilicama koje staze mogu indeksirati, a koje preskočiti. Možete blokirati /admin/, /temp/ ili bilo što iza prijave. Bez njega, pretraživači će pokušati indeksirati sve, trošeći svoju kvotu na stranice koje ne trebaju rangirati.
Sintaksa je jednostavna: User-agent imenuje indeksiranje (Googlebot, Bingbot ili zvjezdica za sve robote), Disallow blokira puteve, Allow stvara iznimke, i Crawl-delay prigušnice zahtijevaju brzinu. Na primjer, pravilo poput Disallow: /admin/ sprječava sve alate za indeksiranje da pristupe bilo čemu pod /admin/. An Allow: /admin/public/ pravilo iznad njega stvara iznimku za taj poddirektorij. Redoslijed je bitan: alati za indeksiranje čitaju odozgo prema dolje i zaustavljaju se na prvom podudarnom pravilu.
Koristite a robots.txt generator izgraditi jedan bez pogađanja sintakse. Generator vas vodi kroz uobičajena pravila i daje valjane rezultate. Testirajte ga prije učitavanja na svoju aktivnu web-lokaciju provjerom alata za testiranje Google Search Consolea i preuzmite ga kada budete spremni. Mnoge web-lokacije slučajno prekomjerno blokiraju sadržaj—pregledajte što isključujete prije implementacije.
XML karte web stranica i indeksiranje
Sitemap.xml navodi svaku stranicu na vašoj stranici u strojno čitljivom formatu, s prioritetnim savjetima i datumima zadnje izmjene. Tražilice ga pronalaze u vašoj robots.txt putem Sitemap direktive ili ga otkriju izravno na /sitemap.xml. Za web-mjesta s tisućama stranica ili dubokom navigacijom, sitemap je najbrži način da Google ne propusti vaš sadržaj.
Svaki unos uključuje URL stranice, njen prioritet (0,0 do 1,0, gdje je 1,0 najviši), učestalost ažuriranja (tjedno, mjesečno, itd.) i datum zadnje izmjene. Prioriteti pomažu tražilicama da se usredotoče na vaše najvrjednije stranice—vaša početna stranica ili stranice za pretvorbu trebale bi biti rangirane više od detaljnih dokumenata za podršku. Datumi zadnje izmjene omogućuju alatima za indeksiranje preskakanje stranica koje se nisu promijenile od njihovog zadnjeg posjeta, čime se štedi proračun za indeksiranje.
Koristite a generator karte web stranice izgraditi jedan od strukture vaše web-lokacije. Navedite prioritete za svoje stranice najveće vrijednosti, testirajte XML na sintaktičke pogreške i pošaljite ga Google Search Consoleu i Bing Webmaster Tools. Obje usluge prate koliko su stranica pronašle i indeksirale, dajući vam uvid u to koristi li se vaša karta web stranice učinkovito.
Humans.txt i atribucija web mjesta
Manje poznato od robots.txt, ali jednako korisno: humans.txt je konvencija koja pripisuje zasluge timu koji stoji iza web stranice. To je jednostavna tekstualna datoteka na /humans.txt koja navodi autore, dizajnere, tehnologe, podatke za kontakt vaše tvrtke i jezike koje vaša stranica podržava. To je isključivo radi transparentnosti i pokazuje da vam je stalo do otvorenosti i atribucije.
Tražilice to ignoriraju, ali programeri koji nadziru hrpu vaših web stranica to cijene. Dobro održavana humans.txt također može pomoći kada tražitelji posla ili partneri žele znati tko je napravio vašu stranicu. Stvorite jedan s a generator humans.txt u nekoliko minuta ispunite podatke o svom timu i tvrtki i implementirajte ga u korijenu svoje domene.
Meta oznake za tražilice
Meta oznake u vašem HTML odjeljku glave govore tražilicama i društvenim platformama kako prikazati vaš sadržaj. The robots meta oznaka kontrolira indeksiranje po stranici: noindex drži stranicu izvan rezultata pretraživanja (korisno za scenska okruženja ili duplicirani sadržaj), nofollow govori robotima da ne slijede veze na toj stranici i nosnippet sprječava rezultate pretraživanja da prikazuju izvatke stranica. Jedna stranica može kombinirati više direktiva: <meta name="robots" content="noindex, follow"> znači ne indeksirati stranicu već slijediti njezine poveznice.
Oznake Open Graph (og:title, og:description, og:image) i oznake Twitter kartice kontroliraju što se prikazuje kada netko podijeli vašu stranicu na društvenim medijima. Bez njih, platforme pogađaju—često netočno. Dobro izrađena og:slika privlači klikove; precizan og:title i opis daju kontekst dioničarima. Koristite a generator meta oznaka kako bi ih pravilno izgradili; kopirajte ih u svoje stranice i potvrdite ih prije nego što ih objavite. Testirajte svoje oznake u Facebook Sharing Debuggeru i Twitterovom Card Validatoru da vidite što će se točno prikazati.
Testiranje vaših tehničkih SEO datoteka
Nakon izgradnje datoteka, provjerite ih prije postavljanja. Google Search Console uključuje tester robots.txt koji vam pokazuje kako Googlebot tumači vaša pravila. Inspektor karte web stranice pokazuje koje su stranice pronađene i indeksirane. XML validatori (besplatni mrežni alati) provjeravaju sintaktičke pogreške na karti web-lokacije. Za meta oznake, DevTools preglednika i programi za ispravljanje pogrešaka specifični za platformu (Facebook Sharing Debugger, Twitter Card Validator) pokazuju točno kako se vaša oznaka prikazuje.
Testirajte svoja robots.txt pravila u odnosu na stvarne URL-ove koje želite dopustiti ili blokirati. Pretjerano restriktivno pravilo može uništiti vaše indeksiranje. Testirajte distribuciju prioriteta svoje karte web mjesta kako biste osigurali da su kritične stranice najbolje rangirane. Provjerite valjanost meta oznaka na stranicama na kojima ste izvršili izmjene. Ovaj desetominutni proces otkriva pogreške prije nego što ugroze vašu vidljivost pretraživanja.
Privatnost i samo lokalna obrada
Tehnički SEO ne bi trebao zahtijevati učitavanje datoteka ili stvaranje računa. SEO alati TextArray-a rade u potpunosti u vašem pregledniku: generirajte svoj robots.txt, sitemap, humans.txt i meta oznake lokalno bez slanja bilo čega na poslužitelj. Vaši podaci uvijek ostaju vaši. Ovi alati rade i izvanmrežno - nakon što se učitaju, rade bez internetske veze. To je tehnički SEO na prvom mjestu privatnosti.
Kako ove datoteke rade zajedno
Robots.txt govori robotima što indeksirati; sitemap.xml im pokazuje što postoji i što je najvažnije; meta oznake kontroliraju kako prikazuju ili indeksiraju svaku stranicu. Dobro konfiguriran robots.txt sprječava indeksiranje osjetljivih staza, vaša karta web-lokacije ističe stranice koje su najvažnije s rangiranjem prioriteta, a kanonske meta oznake govore robotima za indeksiranje o dupliciranom sadržaju tako da ne razvodne signale rangiranja na više URL-ova. Ovo troje čini sustav, a ne izolirane dijelove. Zajedno dramatično poboljšavaju koliko učinkovito tražilice pretražuju i indeksiraju vaše stranice.
Početak rada s tehničkim SEO-om
Započnite s datotekom robots.txt svoje web-lokacije: generirajte je, testirajte je u alatu za testiranje Search Consolea i implementirajte je. Slijedite kartu web stranice: prvo navedite svoje stranice s najvećim prometom i dodijelite realne prioritete, a zatim je pošaljite Google Search Consoleu i Bing Webmaster Tools. Pratite izvješća o pokrivenosti kako biste vidjeli koliko su stranica pretraživači pronašli. Dodajte meta oznake svojim ključnim stranicama, posebno početnoj stranici i odredišnim stranicama, koristeći generator meta oznaka kako bi se osiguralo ispravno oblikovanje. Učinite ove tri stvari i tražilice će pretražiti i indeksirati vašu stranicu daleko učinkovitije nego što bi to učinile bez smjernica. Provjeravajte kvartalno kako biste ažurirali prioritete i pravila kako se vaša stranica razvija.