Intro
Robots Exclusion Protocol (REP) on webmasterin tiedosto, jota käytetään robottien ohjeistamiseen. Ohjeet auttavat robotteja indeksoimaan ja indeksoimaan verkkosivuja eri verkkosivustojen osalta. Tätä REP-tiedostoa kutsutaan joskus nimellä Robots.txt. Ne sijoitetaan verkkopalvelimen hakemiston ylimmälle tasolle, jotta niistä olisi eniten hyötyä. Esimerkiksi: https://www.123abc.com/robots.txt REP-ryhmiä käytetään verkkostandardina, joka säätelee robottien toimintaa ja hakukoneiden indeksointikäyttäytymistä. Vuosien 1994 ja 1997 välillä alkuperäinen REP määritteli robots.txt:ssä bottien käyttäytymisen. Vuonna 1996 hakukoneet tukivat ylimääräisiä REP X-robot-tageja. Hakukoneet käsittelivät linkkejä, joiden arvo sisälsi "follow"-merkinnän, käyttämällä mikroformaattia rel-no follow.
Robotin huijauslappu
Estää kokonaan indeksoijat
Käyttäjäagentti: * Disallow: /Estää tiettyjen verkkokoodaajien pääsy kohdekansioon
Käyttäjäagentti: Googlebot Disallow: /no-google/Estää tiettyjen indeksoijien pääsy kohdesivulle
Käyttäjäagentti: Googlebot Disallow: /no-google/blocked-page.html User-agent: * Disallow:
Sivukartta: https://www.123abc.com/none-standard-location/sitemap.xmlPoissulkeminen Erityiset robottipöytäkirjan tunnisteet
URI, REP-tunnisteita sovelletaan tiettyyn indeksointitehtävään ja joissakin tapauksissa nosnippet-, noarchive- ja noodpquery-moottoreihin tai hakukyselyyn. Resurssit, jotka on merkitty poissulkutunnisteilla, hakukoneet, kuten Bingin SERP-listat, näyttävät nämä ulkoiset linkit kiellettyinä URL-osoitteina. Crawler-direktiivien lisäksi tietyt hakukoneet tulkitsevat REP-tageja eri tavoin. Esimerkkinä tästä voidaan nähdä, kuinka Bing listaa joskus ulkopuoliset viittaukset SERP-listoillaan kielletyiksi. Google ottaa samat listaukset ja pyyhkii URL- ja ODP-viittaukset pois SERP-listoistaan. Ajatuksena on, että X-robotit kumoaisivat META-elementtien kanssa ristiriidassa olevat direktiivit.
Mikroformaatit
Tietyt HTML-tekijät ohittavat sivun asetukset mikromuotoilluissa indeksidirektiiveissä. Tämä ohjelmointitapa vaatii taitoja ja erittäin tarkkaa käsitystä verkkopalvelimista ja HTTP-protokollasta. Esimerkki tästä protokollasta olisi sivu X-Robot-tunnisteilla, joissa on tietty elementtilinkki, jossa sanotaan follow ja sitten rel-nofollow. Robots.txt-indeksoijilla ei yleensä ole direktiivejä, mutta on mahdollista asettaa ryhmäindeksoijia URI:ille, joilla on palvelin, jolla on sivutoimisia skriptejä sivustotasolla.
Kuvion täsmäytys
Verkkopäälliköt voivat edelleen käyttää kahta erillistä ilmaisua sivun poissulkemisen merkitsemiseen. Nämä kaksi merkkiä ovat tähti ja dollarimerkki. Tähti tarkoittaa, että se voi edustaa mitä tahansa merkkiyhdistelmää. Dollarin merkki tarkoittaa URL-osoitteen loppua.
Rajoittamattomat tiedot
Robottitiedostot ovat aina julkisia, joten on tärkeää olla tietoinen siitä, että kuka tahansa voi tarkastella verkkosivuun liitettyä robottitiedostoa. Se on myös saatavilla tietoa siitä, mistä Webmaster estää moottorit palvelimella. Nämä julkiset tiedostot jättävät pääsyn yksityisiin käyttäjätietoihin, jotka voivat sisältää yksityisiä yksilötietoja. On mahdollista lisätä salasanasuojaus, joka estää kävijöitä ja muita katsomasta luokiteltuja sivuja, joita ei pitäisi indeksoida.
Lisäsäännöt
- Yksinkertaisia meta-robottiparametreja, kuten index- ja follow-komentoa, tulisi käyttää vain estämään sivun indeksointi ja indeksointi.
- Vaaralliset botit jättävät nämä komennot varmasti huomiotta, joten ne ovat hyödytön turvasuunnitelma.
- Kullekin URL-osoitteelle sallitaan vain yksi "disallow"-rivi.
- Jokaisella aladomainilla tarvitaan erilliset robottitiedostot.
- Bottien tiedostonimet ovat isojen ja pienten kirjainten välisiä.
- Välilyönti ei erota hakuparametreja toisistaan
Parhaat SEO-taktiikat: Robot.txt
Sivun estäminen - on olemassa useita tapoja estää hakukoneita indeksoimasta ja käyttämästä verkkosivua tai verkkotunnusta.
Robottien käyttäminen sivujen estämiseen
Tämä poissulkeminen kertoo hakukoneelle, ettei se indeksoi sivua, mutta se voi silti indeksoida sivun ja näyttää sen SERP-listoilla.
Ei indeksisivun estoa
Tämä poissulkemismenetelmä kertoo hakukoneille, että ne saavat vierailla sivulla, mutta ne eivät saa näyttää URL-osoitetta tai tallentaa sivua indeksiinsä. Tämä on suositeltavin poissulkemistapa.
Ei seuraa linkkiä sivujen estämiseen
Tätä taktiikkaa ei tueta. Hakukoneet voivat silti käyttää sivuja tällä komennolla. Vaikka hakukone ei voikaan seurata sivua suoraan, se voi käyttää sisältöä selaimen analytiikan tai muiden linkitettyjen sivujen avulla.
Meta Robots vs. Robots.txt
Esimerkki verkkosivuston robots.txt-tiedostosta voi auttaa selventämään ohjelman prosessia. Esimerkissä robottitiedosto estää hakemiston. Kun kyseistä URL-osoitetta haetaan Googlessa, se näyttää, että hakemistosta on kielletty 2760 sivua. Esimerkissä moottori ei ole indeksoinut URL-osoitteita, joten ne eivät näy perinteisten listausten tavoin. Näille sivuille kertyy linkkimehua, kun niihin on liitetty linkkejä. Sijoitusarvon lisäksi ne alkavat saada suosiota ja luottamusta esiintymällä hauissa. Koska sivuista ei voi olla hyötyä sivustolle, koska niitä ei indeksoida. Paras tapa korjata tämä ongelma ja olla tuhlaamatta ranking-tehoa sivulle, on järkevää käyttää toista poissulkemismenetelmää yksittäisten sivujen poistamiseksi. Koodaus näkyisi muodossa: meta tag tämä menetelmä osoittaisi parempaa suorituskykyä kuin edellinen menetelmä.
