Čo je súbor Robots.txt?
Súbor robots.txt obmedzuje webovým prehľadávačom, ako sú roboty vyhľadávačov, prístup na konkrétne adresy URL na webovej lokalite. Môže sa použiť aj na úpravu rýchlosti prehľadávania pre niektoré webové prehľadávače.
Všetky "dobré" webové prehľadávače dodržiavajú pravidlá uvedené v súbore robots.txt. Existujú však aj "zlé" neregistrované prehľadávače, často používané na účely škrabania, ktoré súbor robots.txt úplne ignorujú.
Súbor robots.txt sa musí používať na zníženie/optimalizáciu návštevnosti webových stránok prehľadávačmi a nemal by sa používať na kontrolu indexovania webových stránok. Aj keď je adresa URL v súbore robots.txt zakázaná, spoločnosť Google ju môže indexovať, ak ju objaví prostredníctvom externého odkazu.
Syntax súboru Robots.txt
Syntax súboru robots.txt obsahuje nasledujúce polia:
- user-agent: prehľadávač, na ktorý sa pravidlá vzťahujú
- disallow: cesta, ktorá sa nesmie prechádzať
- allow: cesta, ktorú možno prehľadávať (nepovinné)
- sitemap: umiestnenie súboru s mapou lokality (nepovinné)
- crawl-delay: riadi rýchlosť prehľadávania (voliteľné a nepodporované GoogleBotom)
Tu je príklad:
Agent používateľa: RanktrackerSiteAudit Zakázať: /resources/ Povoliť: /resources/images/ Crawl-delay: 2 Mapa stránky: https://example.com/sitemap.xmlTento súbor robots.txt prikazuje prehľadávaču RanktrackerSiteAudit, aby neprehľadával adresy URL v adresári "/resources/" okrem tých, ktoré sa nachádzajú v adresári "/resources/images/", a nastavuje oneskorenie medzi požiadavkami na 2 sekundy.
Prečo je súbor Robots.txt dôležitý?
Súbor robots.txt je dôležitý, pretože umožňuje správcom webových stránok kontrolovať správanie prehľadávačov na svojich webových stránkach, optimalizovať rozpočet na prehľadávanie a obmedziť prehľadávanie častí webových stránok, ktoré nie sú určené na verejný prístup.
Mnohí majitelia webových stránok sa rozhodnú neindexovať určité stránky, ako sú autorské stránky, prihlasovacie stránky alebo stránky v rámci členského webu. Môžu tiež zablokovať prehľadávanie a indexovanie uzavretých zdrojov, ako sú súbory PDF alebo videá, ktoré si na prístup vyžadujú e-mailové prihlásenie.
Stojí za zmienku, že ak používate systém CMS, ako je WordPress, prihlasovacia stránka /wp-admin/ je automaticky blokovaná pred indexovaním prehľadávačmi.
Je však dôležité poznamenať, že spoločnosť Google neodporúča spoliehať sa pri kontrole indexovania stránok len na súbor robots.txt. A ak vykonávate zmeny na stránke, napríklad pridávate značku "noindex", uistite sa, že stránka nie je zakázaná v súbore robots.txt. V opačnom prípade ju robot Google nebude môcť prečítať a včas aktualizovať svoj index.
Často kladené otázky
Čo sa stane, ak nemám súbor robots.txt?
Väčšina lokalít súbor robots.txt absolútne nevyžaduje. Účelom súboru robots.txt je oznámiť vyhľadávacím robotom konkrétne pokyny, ale nemusí to byť potrebné, ak máte menšiu webovú lokalitu alebo lokalitu bez veľkého počtu stránok, ktoré potrebujete zablokovať pred vyhľadávacími robotmi.
Vytvorenie súboru robots.txt a jeho umiestnenie na webovej lokalite nemá žiadnu nevýhodu. V prípade potreby v budúcnosti tak ľahko pridáte smernice.
Môžem stránku skryť pred vyhľadávačmi pomocou súboru robots.txt?
Áno. Skrytie stránok pred vyhľadávačmi je jednou z hlavných funkcií súboru robots.txt. Môžete to urobiť pomocou parametra disallow a adresy URL, ktorú chcete zablokovať.
Je však dôležité poznamenať, že samotné skrytie adresy URL pred robotom Google pomocou súboru robots.txt nezaručuje, že nebude indexovaná. V niektorých prípadoch môže byť adresa URL stále indexovaná na základe faktorov, ako je text samotnej adresy URL, text kotvy použitý v externých odkazoch a kontext externej stránky, na ktorej bola adresa URL objavená.
Ako otestovať súbor robots.txt?
Súbor robots.txt môžete overiť a otestovať, ako pokyny fungujú na konkrétnych adresách URL, pomocou testera robots.txt v konzole Google Search Console alebo pomocou externých validátorov, napríklad od spoločnosti Merkle.
