Co je soubor Robots.txt?
Soubor robots.txt omezuje webovým prohlížečům, například robotům vyhledávačů, přístup k určitým adresám URL na webových stránkách. Lze jej také použít k úpravě rychlosti procházení pro některé webové prohlížeče.
Všechny "dobré" webové prohlížeče dodržují pravidla uvedená v souboru robots.txt. Existují však "špatné" neregistrované crawlery, často využívané pro účely scrapingu, které soubor robots.txt zcela ignorují.
Soubor robots.txt musí být používán ke snížení/optimalizaci návštěvnosti webových stránek crawlerem a neměl by být používán ke kontrole indexování webových stránek. I když je adresa URL v souboru robots.txt zakázána, může být stále indexována společností Google, pokud je objevena prostřednictvím externího odkazu.
Syntaxe souboru Robots.txt
Syntaxe souboru robots.txt obsahuje následující pole:
- user-agent: crawler, na který se pravidla vztahují.
- disallow: cesta, která nesmí být procházena.
- allow: cesta, kterou lze procházet (nepovinné)
- sitemap: umístění souboru s mapou webu (nepovinné)
- crawl-delay: řídí rychlost procházení (volitelné a není podporováno GoogleBotem).
Zde je příklad:
User-agent: RanktrackerSiteAudit Zakázat: /resources/ Povolit: /resources/images/ Crawl-delay: 2 Mapa stránek: https://example.com/sitemap.xmlTento soubor robots.txt dává prohlížeči RanktrackerSiteAudit pokyn, aby neprohledával adresy URL v adresáři "/resources/" s výjimkou adres v adresáři "/resources/images/", a nastavuje prodlevu mezi požadavky na 2 sekundy.
Proč je soubor Robots.txt důležitý?
Soubor robots.txt je důležitý, protože umožňuje webmasterům řídit chování crawlerů na svých webových stránkách, optimalizovat rozpočet na procházení a omezit procházení částí webových stránek, které nejsou určeny pro veřejný přístup.
Mnoho majitelů webových stránek se rozhodlo neindexovat určité stránky, například autorské stránky, přihlašovací stránky nebo stránky v rámci členského webu. Mohou také blokovat procházení a indexování uzavřených zdrojů, jako jsou soubory PDF nebo videa, které vyžadují přístup pomocí e-mailového přihlášení.
Stojí za zmínku, že pokud používáte systém CMS, jako je WordPress, přihlašovací stránka /wp-admin/ je automaticky blokována pro indexování vyhledávači.
Je však důležité si uvědomit, že společnost Google nedoporučuje spoléhat se při kontrole indexování stránek pouze na soubor robots.txt. A pokud na stránce provádíte změny, například přidáváte značku "noindex", ujistěte se, že stránka není v souboru robots.txt zakázána. Jinak ji robot Google nebude moci přečíst a včas aktualizovat svůj index.
Nejčastější dotazy
Co se stane, když nemám soubor robots.txt?
Většina webů soubor robots.txt bezpodmínečně nevyžaduje. Účelem souboru robots.txt je sdělit vyhledávacím robotům konkrétní pokyny, ale pokud máte menší web nebo web bez velkého množství stránek, které potřebujete před vyhledávacími roboty zablokovat, nemusí to být nutné.
Vytvoření souboru robots.txt a jeho živé zobrazení na webových stránkách však nemá žádnou nevýhodu. To vám usnadní přidávání směrnic, pokud to budete v budoucnu potřebovat.
Mohu stránku skrýt před vyhledávači pomocí souboru robots.txt?
Ano, skrytí stránek před vyhledávači je jednou z hlavních funkcí souboru robots.txt. Můžete to provést pomocí parametru disallow a adresy URL, kterou chcete zablokovat.
Je však důležité si uvědomit, že pouhé skrytí adresy URL před robotem Google pomocí souboru robots.txt nezaručuje, že nebude indexována. V některých případech může být adresa URL stále indexována na základě faktorů, jako je text samotné adresy URL, text kotvy použitý v externích odkazech a kontext externí stránky, na které byla adresa URL objevena.
Jak otestovat soubor robots.txt?
Soubor robots.txt můžete ověřit a otestovat, jak pokyny fungují na konkrétních adresách URL, pomocí testeru robots.txt v konzole Google Search Console nebo pomocí externích validátorů, například od společnosti Merkle.
