Kaj je Robots.txt?
Datoteka robots.txt omejuje spletnim brskalnikom, kot so roboti iskalnikov, dostop do določenih naslovov URL na spletnem mestu. Uporablja se lahko tudi za prilagoditev hitrosti pregledovanja za nekatere spletne brskalnike.
Vsi "dobri" spletni pregledovalniki upoštevajo pravila, določena v datoteki robots.txt. Vendar obstajajo "slabi" neregistrirani pregledovalniki, ki se pogosto uporabljajo za namene izčrpavanja in popolnoma ignorirajo datoteko robots.txt.
Datoteko robots.txt je treba uporabljati za zmanjšanje/optimizacijo prometa pajkov na spletnem mestu, ne sme pa se uporabljati za nadzor indeksiranja spletnih strani. Tudi če je naslov URL v datoteki robots.txt prepovedan, ga lahko Google še vedno indeksira, če ga odkrije prek zunanje povezave.
Skladnja datoteke Robots.txt
Sintaksa datoteke robots.txt vsebuje naslednja polja:
- user-agent: iskalnik, za katerega veljajo pravila.
- disallow: pot, ki se ne sme preiskovati
- allow: pot, ki se lahko prebira (neobvezno)
- sitemap: lokacija datoteke z zemljevidom spletnega mesta (neobvezno)
- crawl-delay: nadzoruje hitrost pregledovanja (neobvezno in ga GoogleBot ne podpira).
Tukaj je primer:
User-agent: RanktrackerSiteAudit Disallow: /resources/ Dovoli: /resources/images/ Crawl-delay: 2 Kazalo: https://example.com/sitemap.xmlTa datoteka robots.txt narekuje pajkovalniku RanktrackerSiteAudit, da ne preiskuje naslovov URL v imeniku "/resources/", razen tistih v "/resources/images/", in določa zamik med zahtevami na 2 sekundi.
Zakaj je datoteka Robots.txt pomembna?
Datoteka robots.txt je pomembna, ker omogoča spletnim skrbnikom, da nadzorujejo obnašanje pajkov na svojih spletnih mestih, optimizirajo proračun za pajkovanje in omejijo pajkovanje delov spletnih mest, ki niso namenjeni javnemu dostopu.
Mnogi lastniki spletnih mest se odločijo, da ne bodo indeksirali določenih strani, na primer strani avtorjev, strani za prijavo ali strani v članskem spletnem mestu. Prav tako lahko preprečijo pregledovanje in indeksiranje zaprtih virov, kot so datoteke PDF ali videoposnetki, za dostop do katerih je potrebna prijava prek e-pošte.
Če uporabljate sistem CMS, kot je WordPress, je prijavna stran /wp-admin/ samodejno blokirana za indeksiranje s strani iskalnikov.
Vendar je treba opozoriti, da Google ne priporoča, da se pri nadzoru indeksiranja strani zanašate samo na datoteko robots.txt. Če spreminjate stran, na primer dodajate oznako "noindex", se prepričajte, da stran ni prepovedana v datoteki robots.txt. V nasprotnem primeru je Googlebot ne bo mogel prebrati in pravočasno posodobiti indeksa.
Pogosta vprašanja
Kaj se zgodi, če nimam datoteke robots.txt?
Večina spletnih mest ne potrebuje datoteke robots.txt. Namen datoteke robots.txt je sporočanje posebnih navodil iskalnim robotom, vendar to morda ni potrebno, če imate manjše spletno mesto ali spletno mesto brez veliko strani, ki jih morate blokirati pred iskalnimi roboti.
Če ustvarite datoteko robots.txt in jo vnesete na svoje spletno mesto, to nima nobenih slabosti. Tako boste lahko preprosto dodali direktive, če boste to potrebovali v prihodnosti.
Ali lahko stran skrijem pred iskalniki z robots.txt?
Da. Skrivanje strani pred iskalniki je ena od glavnih funkcij datoteke robots.txt. To lahko storite s parametrom disallow in naslovom URL, ki ga želite blokirati.
Vendar je treba opozoriti, da zgolj skrivanje naslova URL pred Googlovim robotom z datoteko robots.txt ne zagotavlja, da ne bo indeksiran. V nekaterih primerih se lahko URL še vedno indeksira na podlagi dejavnikov, kot so besedilo samega URL, besedilo sidra, uporabljeno v zunanjih povezavah, in kontekst zunanje strani, na kateri je bil URL odkrit.
Kako preizkusiti datoteko robots.txt?
Datoteko robots.txt lahko potrdite in preverite, kako navodila delujejo na določenih URL-jih, s testerjem robots.txt v konzoli za iskanje Google ali z zunanjimi validatorji, kot je Merkle.
