Intro
Robotite välistamise protokoll (REP) on veebimeistri fail, mida kasutatakse robotite juhendamiseks. Juhised aitavad robotitel roomata veebilehti ja indekseerida neid erinevate veebisaitide jaoks. Seda REP-i nimetatakse mõnikord Robots.txt. Need paigutatakse veebiserveri kataloogi ülemisele tasandile, et need oleksid kõige kasulikumad. Näiteks: https://www.123abc.com/robots.txt REP gruppe kasutatakse veebistandardina, mis reguleerib robotite tegevust ja otsingumootorite indekseerimise käitumist. Aastatel 1994-1997 määratlesid algsed REP robots.txt boti käitumist. 1996. aastal toetasid otsingumootorid täiendavaid REP X-roboti märgiseid. Otsingumootorid käsitlesid linke, mille väärtus sisaldas "follow", kasutades mikroformaati rel-no follow.
Roboti spikker
Et täielikult blokeerida veebi roomikud
Kasutaja-agent: * Disallow: /Konkreetsete veebikülastajate blokeerimine sihtkaustast
Kasutaja-agent: Googlebot Disallow: /no-google/Konkreetsete veebikülastajate blokeerimine sihtveebilehelt
Kasutaja-agent: Googlebot Disallow: Kasutajaliige: /no-google/blocked-page.html User-agent: /no-google/blocked-page: * Disallow:
Sitemap: https://www.123abc.com/none-standard-location/sitemap.xmlVäljaarvamine Spetsiifiline robotprotokoll Sildid
URI, REP sildid on rakendatud teatud indekseerija ülesanne, ja mõnel juhul nosnippet, noarchive ja noodpquery mootorid või otsingupäring. Ressursid, mis on märgistatud välistamise siltidega, näitavad otsingumootorid, näiteks Bing SERP-i nimekirjad, neid väliseid linke keelatud URL-idena. Lisaks roomikute direktiividele tõlgendavad spetsiifilised otsingumootorid REP-silte erinevalt. Selle näitena võib näha, kuidas Bing mõnikord loetleb välisviited oma SERP-is keelatud viidetena. Google võtab samad loetelud ja kustutab URL ja ODP viited oma SERPs. Mõte on, et X-robotid tühistaksid META elementidega vastuolus olevad direktiivid.
Mikroformaadid
Teatavad HTML-faktorid tühistavad lehekülje seaded mikrovormingus indeksdirektiivides. See programmeerimismeetod nõuab oskusi ja väga teravat arusaamist veebiserveritest ja HTTP-protokollist. Selle protokolli näide oleks lehekülje X-Robot sildid konkreetse elemendi link, mis ütlevad, et järgige siis rel-nofollow. Robots.txt indekseerijatel puuduvad tavaliselt direktiivid, kuid on võimalik määrata URI-de grupiindekseerijad, millel on serveri külgmised skriptid saidi tasandil.
Mustri sobitamine
Veebimeistrid võivad endiselt kasutada kahte eraldi väljendit, et tähistada lehekülje välistamist. Need kaks märki on tärn ja dollarimärk. Tärn tähistab, et võib esindada mis tahes tähekombinatsiooni. Dollarimärk tähistab URL-i lõppu.
Piiranguteta teave
Robotifailid on alati avalikud, seega on oluline teada, et igaüks võib veebilehele lisatud robotifaili vaadata. Samuti on kättesaadav teave, kust veebimeister blokeerib mootoreid serveris. Need avalikud failid jätavad juurdepääsu privaatsetele kasutajaandmetele, mis võivad sisaldada privaatseid isikuandmeid. On võimalik lisada paroolikaitset, et hoida külastajad ja teised isikud ei saaks vaadata salastatud lehekülgi, mida ei tohiks indekseerida.
Täiendavad eeskirjad
- Lihtsaid metaroboti parameetreid nagu index ja follow käsk tuleks kasutada ainult selleks, et vältida lehekülje indekseerimist ja roomamist.
- Ohtlikud robotid ignoreerivad neid käske kindlasti ja on seega kasutu turvaplaan.
- Igale URL-ile on lubatud ainult üks "disallow" rida.
- Igale alamdomeenile on vaja eraldi robotite faile
- Robotite failinimed on suur- ja väiketähelepanu tundlikud.
- Vahe ei eralda otsinguparameetreid
Parimad SEO-taktikad: Robot.txt
Lehekülje blokeerimine - on mitmeid viise, kuidas takistada otsingumootori indekseerimist ja juurdepääsu veebilehele või domeenile.
Robotite kasutamine lehekülgede blokeerimiseks
See välistamine ütleb otsingumootorile, et ta ei tohi lehte indekseerida, kuid ta võib lehte siiski indekseerida, et seda SERP-nimekirjades näidata.
Indekslehe blokeerimine puudub
See välistamise meetod ütleb otsingumootoritele, et neil on lubatud lehekülge külastada, kuid neil ei ole lubatud selle URL-i kuvada ega lehte oma indeksisse salvestada. See on eelistatud välistamismeetod.
No Following Link blokeerida lehekülgi
See ei ole toetatud taktika. Otsingumootorid saavad selle käsuga endiselt lehekülgedele ligi. Isegi kui otsingumootor ei saa lehte otse jälgida, saab ta juurdepääsu sisule, kasutades brauseri analüütikat või teisi lingitud lehekülgi.
Meta Robots vs. Robots.txt
Näide veebisaidi robots.txt-failist võib aidata programmi protsessi selgitada. Näites blokeerib robotifail kataloogi. Kui konkreetset URL-aadressi Google'is otsida, näitab see, et kataloogist on keelatud 2760 lehekülge. Näites ei ole mootor neid URL-aadresse roomanud, seega ei ilmu need nagu traditsioonilised nimekirjad. Need leheküljed koguvad lingimahla, kui neile on lingid lisatud. Lisaks nende paremusjärjestusele hakkavad nad otsingutes ilmumise tõttu ka populaarsust ja usaldust saama. Kuna need leheküljed ei saa olla saidile kasulikud, sest neid ei roomata. Parim viis selle probleemi lahendamiseks ja selleks, et mitte raisata lehe järjestusjõudu, on mõistlik kasutada üksikute lehtede eemaldamiseks teist välistamismeetodit. Kodeerimine ilmuks järgmiselt: meta tag see meetod näitaks paremat tulemuslikkust kui eelmine meetod.
