Ievads
Robotu izslēgšanas protokols (REP) ir tīmekļa pārvaldnieka fails, ko izmanto, lai dotu norādījumus robotiem. Šie norādījumi palīdz robotiem pārmeklēt tīmekļa lapas un indeksēt dažādas tīmekļa vietnes. Šo REP dažkārt dēvē par Robots.txt. Lai tie būtu visnoderīgākie, tos ievieto tīmekļa servera direktorijas augšējā līmenī. Piemēram: https: //www.123abc.com/robots.txt REP grupas tiek izmantotas kā tīmekļa standarts, kas regulē robotu darbības un meklētājprogrammu indeksēšanas uzvedību. No 1994. līdz 1997. gadam sākotnējā REP definēja robots.txt botu uzvedību. Meklētājprogrammas 1996. gadā atbalstīja papildu REP X-robotu tagus. Meklētājprogrammas apstrādāja saites, kuru vērtība saturēja "follow", izmantojot mikroformātu rel-no follow.
Robotu pārbaudes lapa
Pilnīga tīmekļa pārlūku bloķēšana
Lietotāja aģents: * Aizliegt: /Konkrētu tīmekļa pārlūku bloķēšana mērķa mapē
Lietotāja aģents: Googlebot Aizliegt: /no-google/Konkrētu tīmekļa pārlūku bloķēšana no mērķa tīmekļa lapas
Lietotāja aģents: Googlebot Aizliegt: /no-google/blocked-page.html Lietotāja aģents: Aizliegt: * Aizliegt:
Lapas karte: https://www.123abc.com/none-standard-location/sitemap.xmlIzslēgšanas īpašās robotu protokola birkas
URI, REP birkas tiek piemērotas noteiktam indeksatora uzdevumam, un dažos gadījumos nosnippet, noarchive un noodpquery dzinējiem vai meklēšanas vaicājumam. Resursiem, kas apzīmēti ar izslēgšanas tagiem, meklētājprogrammas, piemēram, Bing SERP sarakstos, šīs ārējās saites parāda kā aizliegtus URL. Papildus rāpošanas direktīvām konkrētas meklētājprogrammas atšķirīgi interpretē REP tagus. Kā piemēru var minēt to, ka Bing savos SERP dažkārt ārējās saites uzskaitīs kā aizliegtas. Google izmanto tos pašus sarakstus un dzēš URL un ODP atsauces savos SERP. Tiek uzskatīts, ka X-Robots varētu atcelt norādes, kas ir pretrunā ar META elementiem.
Mikroformāti
Konkrēti HTML faktori būs svarīgāki par lapas iestatījumiem mikroformāta indeksa direktīvās. Šī programmēšanas metode prasa prasmes un ļoti labu izpratni par tīmekļa serveriem un HTTP protokolu. Šī protokola piemērs varētu būt X-Robot tagu lapa ar konkrēta elementa saiti, kurā ir teikts follow un pēc tam rel-nofollow. Robots.txt indeksatoriem parasti nav direktīvu, taču ir iespējams iestatīt URI grupu indeksatorus, kuriem ir serveris ar sānu skriptiem vietnes līmenī.
Pattern Matching
Tīmekļa vietņu administratori joprojām var izmantot divas atsevišķas frāzes, lai apzīmētu lapas izslēgšanu. Šīs divas zīmes ir zvaigznīte un dolāra zīme. Zvaigznīte apzīmē, ka tā var pārstāvēt jebkuru rakstzīmju kombināciju. Dolāra zīme apzīmē URL adresāta beigas.
Neierobežota informācija
Robotu faili vienmēr ir publiski pieejami, tāpēc ir svarīgi apzināties, ka ikviens var apskatīt tīmekļa lapai pievienoto robota failu. Ir pieejama arī informācija, no kurienes tīmekļa pārzinis bloķē serverī esošos dzinējus. Šie publiskie faili atstāj piekļuvi privātiem lietotāju datiem, kas var ietvert privātus personas datus. Ir iespējams pievienot paroles aizsardzību, lai neļautu apmeklētājiem un citām personām apskatīt klasificētas lapas, kuras nevajadzētu indeksēt.
Papildu noteikumi
- Vienkāršus meta robotu parametrus, piemēram, indeksēšanas un sekošanas komandu, drīkst izmantot tikai, lai novērstu lapas indeksēšanu un pārlūkošanu.
- Bīstamie roboti pilnīgi noteikti ignorēs šīs komandas, tāpēc tās ir bezjēdzīgs drošības plāns.
- Katram URL ir atļauta tikai viena "aizliegt" rinda.
- Katrai apakšdomēnai ir nepieciešami atsevišķi robotu faili.
- Filmu nosaukumi botiem ir lielo un mazo burtu sensitivitāte.
- atstarpes neatdala meklēšanas parametrus
Top SEO taktika: Robot.txt
Lapas bloķēšana - ir vairāki veidi, kā liegt meklētājprogrammai indeksēt un piekļūt tīmekļa lapai vai domēnam.
Robotu izmantošana, lai bloķētu lapas
Šī izslēgšana liek meklētājprogrammai neizpētīt lapu, taču tā joprojām var indeksēt lapu un parādīt to SERP sarakstos.
Rādītājlapas bloķēšana
Šī izslēgšanas metode norāda, ka meklētājprogrammām ir atļauts apmeklēt lapu, taču tām nav atļauts parādīt URL vai saglabāt lapu indeksā. Šī ir ieteicamā izslēgšanas metode.
Nav šādas saites uz bloķētajām lapām
Tā nav atbalstīta taktika. Ar šo komandu meklētājprogrammas joprojām var piekļūt lapām. Pat ja meklētājprogramma nevar tieši sekot lapai, tā var piekļūt saturam, izmantojot pārlūkprogrammas analītiskos datus vai citas saistītās lapas.
Meta Robots vs Robots.txt
Programmas darbību var palīdzēt izskaidrot tīmekļa vietnes robots.txt faila piemērs. Šajā piemērā robotu fails bloķē direktoriju. Kad konkrētais URL tiek meklēts Google meklētājā, tas parāda, ka direktorijā ir aizliegtas 2760 lapas. Šajā piemērā dzinējs nav pārlūkojis URL adresātus, tāpēc tie netiks parādīti kā tradicionālie saraksti. Kad šīm lapām būs pievienotas saites, tās uzkrās saiti. Līdztekus to ranžēšanas spējai tās sāks iegūt arī popularitāti un uzticību, parādoties meklēšanas rezultātos. Tā kā šīs lapas nevar sniegt labumu vietnei, jo tās netiek pārmeklētas. Labākais veids, kā atrisināt šo problēmu un nepalaist lapas ranga spēku zudumā, ir izmantot citu izslēgšanas metodi, lai atsevišķas lapas noņemtu. Kodēšana parādītos kā: Meta tag Šī metode uzrādītu labāku veiktspēju nekā iepriekšējā metode.
