Intro
A Robots Exclusion Protocol (REP) egy webmester fájl, amely a robotok utasítására szolgál. Az utasítások segítik a robotokat a weboldalak feltérképezésében és indexelésében a különböző weboldalak esetében. Ezt a REP-et néha Robots.txt néven is említik. A webkiszolgáló könyvtárának legfelső szintjén helyezik el, hogy a leghasznosabb legyen. Például: https://www.123abc.com/robots.txt REP-csoportokat használnak webes szabványként, amely szabályozza a robotok tevékenységét és a keresőmotorok indexelési viselkedését. Az eredeti REP 1994 és 1997 között határozta meg a robotok viselkedését a robots.txt számára. A keresőmotorok 1996-ban további REP X-robot címkéket támogattak. A keresőmotorok a rel-no follow mikroformátummal kezelték azokat a linkeket, amelyek értéke "follow"-t tartalmazott.
Robot puskázó lap
A webkúszók teljes blokkolása
Felhasználó-ügynök: * Disallow: /Bizonyos webkúszók blokkolása egy célmappából
Felhasználó-ügynök: Googlebot Disallow: /no-google/Bizonyos webkúszók blokkolása egy céloldaltól
Felhasználó-ügynök: Googlebot Disallow: Felhasználó-agent: /no-google/blocked-page.html User-agent: Letiltás: * Disallow:
Oldaltérkép: https://www.123abc.com/none-standard-location/sitemap.xmlKizárás Speciális robotprotokoll címkék
URI, REP címkéket alkalmaznak bizonyos indexelő feladatra, és bizonyos esetekben nosnippet, noarchive és noodpquery motorokat vagy egy keresési lekérdezést. A kizáró címkékkel megjelölt erőforrások, a keresőmotorok, például a Bing SERP listái tiltott URL-ként mutatják ezeket a külső linkeket. A lánctalpas irányelvek mellett az egyes keresőmotorok másképp értelmezik az REP címkéket. Erre példa, hogy a Bing néha tiltottként tünteti fel a SERP-jeiben a külső hivatkozásokat. A Google ugyanezeket a listákat veszi, és kitörli az URL- és ODP-hivatkozásokat a SERP-jeiből. A gondolat az, hogy az X-Robotok felülbírálnák a META elemekkel ellentétes irányelveket.
Mikroformátumok
Az egyes HTML-tényezők felülbírálják a mikroformázott indexirányelvek oldalbeállításait. Ez a programozási módszer készségeket és a webszerverek és a HTTP protokoll nagyon jó ismeretét igényli. Egy példa erre a protokollra egy X-Robot címkékkel ellátott oldal lenne egy adott elem linkjével, amely azt mondja, hogy follow majd rel-nofollow. A Robots.txt indexelők általában nem rendelkeznek direktívákkal, de lehetséges olyan URI-k csoportos indexelőinek beállítása, amelyeknek a szervere oldalsó szkriptekkel rendelkezik a webhely szintjén.
Mintaillesztés
A webmesterek továbbra is két külön kifejezést használhatnak az oldal kizárásának jelölésére. A két karakter a csillag és a dollárjel. A csillag azt jelzi, hogy a karakterek bármilyen kombinációját jelentheti. A dollárjel az URL végét jelöli.
Korlátlan információk
A robotfájlok mindig nyilvánosak, ezért fontos tisztában lenni azzal, hogy egy weboldalhoz csatolt robotfájlt bárki megtekinthet. Az is hozzáférhető információ, hogy a webmester honnan blokkolja a motorokat a szerveren. Ezek a nyilvános fájlok hozzáférést hagynak a privát felhasználói adatokhoz, amelyek privát egyéni adatokat is tartalmazhatnak. Lehetőség van jelszavas védelem hozzáadására, hogy a látogatók és mások ne tudják megtekinteni az olyan titkosított oldalakat, amelyeket nem szabad indexelni.
További szabályok
- Az olyan egyszerű meta robot paramétereket, mint az index és a follow parancs, csak az oldal indexelésének és lánctalpas feltérképezésének megakadályozására kell használni.
- A veszélyes botok minden bizonnyal figyelmen kívül hagyják ezeket a parancsokat, és mint ilyenek, haszontalan biztonsági tervet jelentenek.
- Minden URL-hez csak egy "tiltó" sor engedélyezett.
- Külön robots fájlokra van szükség minden egyes aldomainen
- A botok fájlnevei nagy- és kisbetű-érzékenyek.
- A szóköz nem választja el a keresési paramétereket
Top SEO taktikák: txt
Oldalblokkolás - többféle módon is megakadályozható, hogy egy keresőmotor indexeljen és elérjen egy weboldalt vagy tartományt.
Robotok használata az oldalak blokkolásához
Ez a kizárás azt mondja a keresőmotornak, hogy ne kutassa fel az oldalt, de ettől még indexelheti az oldalt, hogy megjelenítse a SERP listákon.
Nincs index oldal blokkolás
Ez a kizárási módszer azt üzeni a keresőmotoroknak, hogy az oldalt meglátogathatják, de nem jeleníthetik meg az URL-t, és nem menthetik el az oldalt az indexükbe. Ez az előnyben részesített kizárási módszer.
Nincs következő link az oldalak blokkolásához
Ez nem támogatott taktika. A keresőmotorok továbbra is elérhetik az oldalakat ezzel a paranccsal. Még ha a keresőmotor nem is tudja közvetlenül követni az oldalt, a böngésző analitikája vagy más hivatkozott oldalak segítségével elérheti a tartalmat.
Meta Robots vs. Robots.txt
Egy példa egy weboldal robots.txt fájljára segíthet tisztázni a program folyamatát. A példában a robotfájl blokkolja a könyvtárat. Ha az adott URL-t megkeresi a Google, akkor azt mutatja, hogy 2760 oldal van kitiltva a könyvtárból. A példában a motor nem láncolja át az URL-eket, így azok nem a hagyományos listázásokhoz hasonlóan jelennek meg. Ezek az oldalak felhalmozzák a link juice-t, amint linkek kapcsolódnak hozzájuk. A rangsoroló erejük mellett a keresésekben való megjelenésükkel népszerűségre és bizalomra is kezdenek majd szert tenni. Mivel az oldalak nem jelenthetnek előnyt az oldal számára, mert nem láncolják be őket. A legjobb módja annak, hogy ezt a problémát orvosolja, és ne legyen elpazarolt rangsoroló ereje egy oldalnak, az egyes oldalak eltávolításához egy másik kizárási módszer alkalmazása a legbölcsebb. A kódolás megjelenne: meta tag ez a módszer jobb teljesítményt mutatna, mint az előző módszer.
