Robotok, webhelytérképek és technikai SEO fájlok

A keresőmotorok több milliárd oldalt térképeznek fel. Útmutatás nélkül időt pazarolnak, lemaradnak a fontos tartalmakról vagy olyan indexoldalakról, amelyeket szívesebben tartana privátnak. Három egyszerű szöveges fájl – robots.txt, XML-webhelytérképek és metacímkék – automatikusan elvégzi ezt az irányító munkát. Ezek elkészítésének ismerete a technikai SEO tétje. Ezek a fájlok képezik az alapját annak, hogy a keresőmotorok hogyan fedezik fel, térképezik fel és értelmezik webhelye szerkezetét és tartalmi prioritásait.

A robots.txt értelmezése

A robots.txt fájl a domain gyökérjében található (például example.com/robots.txt), és közli a keresőmotorokkal, hogy mely útvonalakat térképezhetik fel, és melyiket hagyhatják ki. Letilthatja az /admin/, /temp/ vagy bármi mást a bejelentkezés mögött. Enélkül a feltérképező robotok mindent megpróbálnak indexelni, így a kvótájukat olyan oldalakra pazarolják, amelyeket nem kell rangsorolni.

A szintaxis egyszerű: User-agent megnevezi a robotot (Googlebot, Bingbot vagy csillag minden robotnál), Disallow elzárja az utakat, Allow kivételeket hoz létre, és Crawl-delay a fojtószelepek sebességet kérnek. Például egy szabály, mint pl Disallow: /admin/ megakadályozza, hogy minden bejáró hozzáférjen bármihez az /admin/ alatt. An Allow: /admin/public/ felette lévő szabály kivételt hoz létre az adott alkönyvtárhoz. A sorrend számít: a bejárók fentről lefelé olvasnak, és megállnak az első egyezési szabálynál.

Használja a robots.txt generátor hogy a szintaxis találgatása nélkül építsünk egyet. A generátor végigvezeti Önt a közös szabályokon, és érvényes kimenetet állít elő. Tesztelje, mielőtt feltölti élő webhelyére a Google Search Console tesztelőeszközével, és töltse le, ha készen áll. Sok webhely véletlenül túlblokkolja a tartalmat – az üzembe helyezés előtt ellenőrizze, hogy mit zár ki.

XML oldaltérképek és feltérképezhetőség

A sitemap.xml a webhely minden oldalát géppel olvasható formátumban listázza, prioritási tippekkel és utolsó módosítási dátumokkal. A keresőmotorok megtalálják a robots.txt fájlban a Webhelytérkép-irányelv segítségével, vagy közvetlenül a /sitemap.xml címen. Több ezer oldalt tartalmazó vagy mély navigációval rendelkező webhelyek esetén a webhelytérkép a leggyorsabb módja annak, hogy a Google ne hagyja ki a tartalmat.

Minden bejegyzés tartalmazza az oldal URL-címét, annak prioritását (0,0–1,0, ahol az 1,0 a legmagasabb), a frissítés gyakoriságát (hetente, havonta stb.) és az utolsó módosítás dátumát. A prioritások segítségével a keresőmotorok az Ön legértékesebb oldalaira összpontosíthatnak – a kezdőlapnak vagy a konverziós oldalaknak magasabb rangot kell kapniuk, mint a mélyreható támogatási dokumentumok. Az utolsó módosítás dátumai lehetővé teszik a feltérképező robotok számára, hogy kihagyják azokat az oldalakat, amelyek nem változtak legutóbbi látogatásuk óta, így megtakaríthatják a feltérképezési költségkeretet.

Használja a oldaltérkép generátor hogy létrehozzon egyet a webhely szerkezetéből. Adja meg a legnagyobb értékű oldalak prioritását, tesztelje az XML-t szintaktikai hibákra, és küldje el a Google Search Console és a Bing Webmestereszközök számára. Mindkét szolgáltatás nyomon követi, hogy hány oldalt találtak és indexeltek, így láthatja, hogy webhelytérképét hatékonyan használják-e.

Humans.txt és webhely-hozzárendelés

Kevésbé ismert, mint a robots.txt, de ugyanolyan hasznos: a humans.txt egy olyan konvenció, amely a webhely mögött álló csapatot jelöli meg. Ez egy egyszerű szöveges fájl a /humans.txt címen, amely felsorolja a szerzőket, tervezőket, technológusokat, cégének elérhetőségeit és a webhelye által támogatott nyelveket. Pusztán az átláthatóságot szolgálja, és azt mutatja, hogy törődik a nyitottsággal és a hozzárendeléssel.

A keresőmotorok figyelmen kívül hagyják, de a webhely veremét ellenőrző fejlesztők értékelik. A jól karbantartott humans.txt akkor is segíthet, ha álláskeresők vagy partnerek tudni szeretnék, hogy ki készítette az Ön webhelyét. Hozzon létre egyet a humans.txt generátor percek alatt adja meg csapata és vállalata adatait, és helyezze üzembe a domain gyökérjében.

Metacímkék keresőmotorokhoz

A HTML fejrészben található metacímkék megmondják a keresőmotoroknak és a közösségi platformoknak, hogyan jelenítsék meg a tartalmat. A robots A metacímke oldalanként szabályozza az indexelést: noindex távol tart egy oldalt a keresési eredményektől (hasznos a környezetek állomásoztatásához vagy a duplikált tartalomhoz), nofollow azt mondja a robotoknak, hogy ne kövessék az oldalon található hivatkozásokat, és nosnippet megakadályozza, hogy a keresési eredmények oldalrészleteket jelenítsenek meg. Egy oldal több direktívát is kombinálhat: <meta name="robots" content="noindex, follow"> azt jelenti, hogy ne indexelje az oldalt, hanem kövesse a linkjeit.

Az Open Graph címkék (og:title, og:description, og:image) és a Twitter-kártya címkéi szabályozzák, hogy mi jelenjen meg, amikor valaki megosztja oldalát a közösségi médiában. Nélkülük a platformok kitalálnak – gyakran helytelenül. A jól kidolgozott og:image kattintásokat vonz; a pontos og:title és leírás kontextust ad a részvényesek számára. Használja a meta tag generátor ezeket helyesen megépíteni; másold be őket az oldalad fejlécébe, és érvényesítsd az élő adás előtt. Tesztelje címkéit a Facebook megosztási hibakeresőjében és a Twitter kártyaellenőrzőjében, hogy megtudja, pontosan mi fog megjelenni.

Technikai SEO-fájlok tesztelése

A fájlok elkészítése után érvényesítse azokat a telepítés előtt. A Google Search Console tartalmaz egy robots.txt tesztelőt, amely megmutatja, hogyan értelmezi a Googlebot a szabályokat. A webhelytérkép-ellenőr megmutatja, hogy mely oldalakat találták meg és indexelték. Az XML-ellenőrzők (ingyenes online eszközök) ellenőrzik a webhelytérképet szintaktikai hibákért. A metacímkék esetében a böngésző DevTools és a platform-specifikus hibakeresők (Facebook Sharing Debugger, Twitter Card Validator) pontosan megmutatják, hogyan jelenik meg a jelölés.

Tesztelje robots.txt szabályait az engedélyezni vagy blokkolni kívánt valódi URL-ekkel. Egy túlságosan korlátozó szabály tönkreteheti az indexelést. Tesztelje webhelytérképének prioritási eloszlását, hogy megbizonyosodjon arról, hogy a kritikus oldalak a legmagasabb rangot kapják. Érvényesítse a metacímkéket azokon az oldalakon, amelyeken változtatásokat hajtott végre. Ez a tízperces folyamat még azelőtt észleli a hibákat, hogy azok rontanák a keresés láthatóságát.

Adatvédelem és csak helyi feldolgozás

A technikai SEO nem igényelhet fájlok feltöltését vagy fiókok létrehozását. A TextArray SEO eszközei teljes mértékben az Ön böngészőjében futnak: helyileg hozza létre a robots.txt fájlt, a webhelytérképet, a humans.txt fájlt és a metacímkéket anélkül, hogy bármit is küldene a szervernek. Adatai mindig a tiéd maradnak. Ezek az eszközök offline módban is működnek – betöltés után internetkapcsolat nélkül is működnek. Ez az adatvédelem előtt álló technikai SEO.

Hogyan működnek együtt ezek a fájlok

A Robots.txt megmondja a bejáróknak, hogy mit kell feltérképezniük; sitemap.xml megmutatja nekik, mi létezik, és mi a legfontosabb; a metacímkék szabályozzák, hogyan jelenjenek meg vagy indexeljenek minden oldalt. A jól konfigurált robots.txt megakadályozza az érzékeny útvonalak feltérképezését, a webhelytérkép kiemeli a legfontosabb oldalakat prioritási rangsorolással, a kanonikus metacímkék pedig tájékoztatják a feltérképező robotokat az ismétlődő tartalomról, így nem gyengítik a rangsorolási jeleket több URL-en. Ez a három rendszert alkot, nem elszigetelt darabokat. Együtt drámaian javítják a keresőmotorok webhelyének feltérképezésének és indexelésének hatékonyságát.

Kezdő lépések a technikai SEO-val

Kezdje webhelye robots.txt fájljával: hozzon létre egyet, tesztelje a Search Console tesztelőeszközében, és helyezze üzembe. Kövesse a webhelytérképet: először sorolja fel a legnagyobb forgalmú oldalait, és rendeljen hozzá reális prioritásokat, majd küldje el a Google Search Console-nak és a Bing Webmestereszközöknek. Figyelje a lefedettségi jelentéseket, hogy megtudja, hány oldalt találtak a robotok. Adjon hozzá metacímkéket kulcsoldalaihoz, különösen a kezdőlaphoz és a céloldalhoz, a meta tag generátor a megfelelő formázás biztosítása érdekében. Végezze el ezt a három dolgot, és a keresőmotorok sokkal hatékonyabban fogják feltérképezni és indexelni webhelyét, mint útmutatás nélkül. Nézzen vissza negyedévente, hogy frissítse a prioritásokat és a szabályokat, ahogyan webhelye fejlődik.