Roboti, zemljevidi spletnih mest in tehnične datoteke SEO
Iskalniki preiščejo milijarde strani. Brez vodenja izgubljajo čas, zamudijo pomembno vsebino ali indeksirajo strani, ki bi jih raje ohranili zasebne. Tri datoteke z navadnim besedilom – robots.txt, zemljevidi spletnih mest XML in metaoznake – to usmerjevalno delo opravljajo samodejno. Vedeti, kako jih zgraditi, je pomembno za tehnični SEO. Te datoteke tvorijo temelje za to, kako iskalniki odkrijejo, preiščejo in razumejo strukturo in prednostne vsebine vašega spletnega mesta.
Razumevanje datoteke robots.txt
Datoteka robots.txt je v korenu vaše domene (na primer example.com/robots.txt) in iskalnikom sporoča, katere poti lahko preiščejo in katere naj preskočijo. Za prijavo lahko blokirate /admin/, /temp/ ali karkoli drugega. Brez njega bodo pajki poskušali indeksirati vse in zapravili svojo kvoto na straneh, ki jih ni treba uvrstiti.
Sintaksa je preprosta: User-agent poimenuje pajka (Googlebot, Bingbot ali zvezdica za vse bote), Disallow blokira poti, Allow ustvarja izjeme in Crawl-delay plini zahtevajo hitrost. Na primer pravilo, kot je Disallow: /admin/ preprečuje vsem pajkom dostop do česar koli pod /admin/. An Allow: /admin/public/ pravilo nad njim ustvari izjemo za ta podimenik. Vrstni red je pomemben: pajki berejo od zgoraj navzdol in se ustavijo pri prvem ujemajočem se pravilu.
Uporabite a generator robots.txt zgraditi brez ugibanja o sintaksi. Generator vas popelje skozi običajna pravila in ustvari veljaven rezultat. Preizkusite ga, preden ga naložite na svoje živo spletno mesto, tako da preverite orodje za testiranje Google Search Console, in ga prenesite, ko bo pripravljen. Številna spletna mesta po nesreči preveč blokirajo vsebino – pred uvedbo preglejte, kaj izključujete.
XML zemljevidi spletnega mesta in iskanje po vsebini
Zemljevid spletnega mesta.xml navaja vse strani na vašem spletnem mestu v strojno berljivi obliki, s prednostnimi namigi in datumi zadnje spremembe. Iskalniki ga najdejo v vaši datoteki robots.txt prek direktive o zemljevidu spletnega mesta ali pa ga odkrijejo neposredno na /sitemap.xml. Za spletna mesta z več tisoč stranmi ali poglobljeno navigacijo je zemljevid spletnega mesta najhitrejši način, da zagotovite, da Google ne zgreši vaše vsebine.
Vsak vnos vključuje URL strani, njeno prioriteto (0,0 do 1,0, kjer je 1,0 najvišja), pogostost posodabljanja (tedensko, mesečno itd.) in datum zadnje spremembe. Prioritete pomagajo iskalnikom, da se osredotočijo na vaše najbolj dragocene strani – vaša domača stran ali strani s konverzijo bi morale biti uvrščene višje od globokih podpornih dokumentov. Datumi zadnje spremembe omogočajo pajkom preskočiti strani, ki se niso spremenile od njihovega zadnjega obiska, s čimer prihranijo proračun za pajkanje.
Uporabite a generator zemljevidov spletnih mest da ga zgradite iz strukture svojega spletnega mesta. Določite prioritete za svoje strani z najvišjo vrednostjo, preizkusite XML za sintaksne napake in ga pošljite v Google Search Console in Bing Webmaster Tools. Obe storitvi spremljata, koliko strani sta našli in indeksirali, kar vam daje vpogled v to, ali se vaš zemljevid spletnega mesta uporablja učinkovito.
Humans.txt in pripis spletnega mesta
Manj znan kot robots.txt, a enako uporaben: humans.txt je konvencija, ki pripisuje zasluge ekipi, ki stoji za spletnim mestom. To je preprosta besedilna datoteka na /humans.txt, ki navaja avtorje, oblikovalce, tehnologe, kontaktne podatke vašega podjetja in jezike, ki jih podpira vaše spletno mesto. To je izključno zaradi preglednosti in kaže, da vam je mar za odprtost in pripisovanje.
Iskalniki to ignorirajo, razvijalci, ki revidirajo sklad vašega spletnega mesta, pa to cenijo. Dobro vzdrževana humans.txt lahko pomaga tudi, ko iskalci zaposlitve ali partnerji želijo vedeti, kdo je ustvaril vaše spletno mesto. Ustvarite ga z a generator humans.txt v nekaj minutah izpolnite podatke o svoji ekipi in podjetju ter ga namestite v koren domene.
Meta oznake za iskalnike
Meta oznake v vašem razdelku glave HTML sporočajo iskalnikom in družabnim platformam, kako prikazati vašo vsebino. The robots meta oznaka nadzoruje indeksiranje na stran: noindex prepreči stran iz rezultatov iskanja (uporabno za uprizoritvena okolja ali podvojeno vsebino), nofollow sporoča pajkom, naj ne sledijo povezavam na tej strani, in nosnippet preprečuje, da bi rezultati iskanja prikazovali odlomke strani. Ena stran lahko združuje več direktiv: <meta name="robots" content="noindex, follow"> pomeni, da strani ne indeksirate, temveč sledite njenim povezavam.
Oznake Open Graph (og:title, og:description, og:image) in oznake Twitter Card nadzirajo, kaj se prikaže, ko nekdo deli vašo stran na družbenih omrežjih. Brez njih platforme ugibajo – pogosto nepravilno. Dobro oblikovana og:slika pritegne klike; natančen og:naslov in opis dajeta delničarjem kontekst. Uporabite a generator meta oznak pravilno zgraditi te; kopirajte jih v svoje glave strani in potrdite pred objavo. Preizkusite svoje oznake v Facebook Sharing Debuggerju in Twitterjevem Card Validatorju, da natančno vidite, kaj bo upodobljeno.
Testiranje vaših tehničnih datotek SEO
Ko ustvarite svoje datoteke, jih preverite pred uvedbo. Google Search Console vključuje tester robots.txt, ki vam pokaže, kako Googlebot razlaga vaša pravila. Inšpektor zemljevidov spletnih mest pokaže, katere strani so bile najdene in indeksirane. Validatorji XML (brezplačna spletna orodja) preverijo, ali so na vašem zemljevidu spletnega mesta sintaksne napake. Za meta oznake brskalnik DevTools in programi za odpravljanje napak, specifični za platformo (Facebook Sharing Debugger, Twitter Card Validator) natančno pokažejo, kako se vaše oznake upodabljajo.
Preizkusite svoja pravila robots.txt glede na dejanske URL-je, ki jih želite dovoliti ali blokirati. Preveč omejevalno pravilo lahko uniči vaše indeksiranje. Preizkusite prednostno porazdelitev vašega zemljevida spletnega mesta, da zagotovite, da so kritične strani najvišje uvrščene. Preverite metaoznake na straneh, kjer ste naredili spremembe. Ta desetminutni postopek odkrije napake, preden škodijo vidnosti vašega iskanja.
Zasebnost in samo lokalna obdelava
Tehnični SEO ne bi smel zahtevati nalaganja datotek ali ustvarjanja računov. Orodja za SEO podjetja TextArray delujejo v celoti v vašem brskalniku: lokalno ustvarite robots.txt, zemljevid spletnega mesta, humans.txt in meta oznake, ne da bi karkoli poslali strežniku. Vaši podatki ostanejo vedno vaši. Ta orodja delujejo tudi brez povezave – ko se naložijo, delujejo brez internetne povezave. To je zasebnost na prvem mestu tehnični SEO.
Kako te datoteke delujejo skupaj
Robots.txt pajkom pove, kaj naj pajkajo; sitemap.xml jim pokaže, kaj obstaja in kaj je najpomembnejše; meta oznake nadzorujejo, kako prikazujejo ali indeksirajo vsako stran. Dobro konfiguriran robots.txt preprečuje pajkanje po občutljivih poteh, vaš zemljevid spletnega mesta poudari strani, ki so najpomembnejše, s prednostnimi uvrstitvami, kanonične meta oznake pajkom sporočajo o podvojeni vsebini, tako da ne oslabijo signalov za razvrščanje v več URL-jih. Ti trije tvorijo sistem, ne izolirane dele. Skupaj dramatično izboljšata, kako učinkovito iskalniki preiščejo in indeksirajo vaše spletno mesto.
Začetek s tehničnim SEO
Začnite z datoteko robots.txt vašega spletnega mesta: ustvarite jo, preizkusite v orodju za preizkušanje Search Console in jo uvedite. Sledite zemljevidu spletnega mesta: najprej navedite svoje strani z največjim prometom in dodelite realne prioritete, nato pa jih pošljite v Google Search Console in Bing Webmaster Tools. Spremljajte poročila o pokritosti, da vidite, koliko strani so pajki našli. Dodajte meta oznake svojim ključnim stranem, zlasti domači strani in ciljnim stranem, z uporabo generator meta oznak da zagotovite pravilno oblikovanje. Naredite te tri stvari in iskalniki bodo veliko bolj učinkovito preiskali in indeksirali vaše spletno mesto, kot bi ga brez navodil. Preverite vsako četrtletje, da posodobite prednostne naloge in pravila, ko se vaše spletno mesto razvija.