Robots.txt a sitemap.xml: návod pro WordPress

Foto: Pixabay

Robots.txt a sitemap.xml jsou dva soubory, kterými řídíte, jak vyhledávače procházejí váš web. Robots.txt jim říká, kam mají a nemají chodit, sitemap.xml jim naopak nabízí kompletní seznam adres, které chcete mít v indexu. Oba soubory jsou technický základ SEO — chyba v nich dokáže z Googlu vymazat celý web, správné nastavení naopak procházení zrychlí a zpřehlední. V tomhle návodu si vysvětlíme, co každý soubor umí (a hlavně co neumí), jak je správně nastavit na WordPressu a jakých chyb se vyvarovat.

Co je robots.txt

Robots.txt je prostý textový soubor umístěný v kořeni domény — najdete ho vždy na adrese vasedomena.cz/robots.txt. Je to první věc, kterou vyhledávací robot při návštěvě webu přečte. Obsahuje pravidla, která robotům říkají, které části webu mohou procházet a které mají nechat být. Funguje jako vrátný, který u vchodu ukáže návštěvníkům, kam smí a kam ne.

Důležité je hned na začátku pochopit, že robots.txt je pokyn, ne zámek. Slušní roboti (Googlebot, Seznam, Bing) ho respektují, ale nic jim technicky nebrání ho ignorovat — a škodliví roboti to běžně dělají. Robots.txt proto není bezpečnostní nástroj a nikdy jím neskrývejte citlivý obsah.

Jak robots.txt funguje: základní direktivy

Soubor se skládá z bloků pravidel. Každý blok začíná řádkem User-agent, který určuje, pro kterého robota pravidla platí, a pokračuje pravidly Disallow (zakázat) a Allow (povolit). Nejdůležitější direktivy:

• User-agent: pro kterého robota pravidla platí. Hvězdička (*) znamená „pro všechny“.
• Disallow: cesta, kterou robot nemá procházet. Prázdný Disallow znamená „procházej vše“.
• Allow: výjimka z Disallow — povolí konkrétní podadresu uvnitř zakázané složky.
• Sitemap: odkaz na sitemapu (nebo víc sitemap). Sem patří plná adresa sitemapy.

Typický minimální robots.txt pro WordPress vypadá takto:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.vasedomena.cz/sitemap_index.xml

Tento zápis říká: všem robotům zakaž vstup do administrace, ale povol soubor admin-ajax.php (který web potřebuje k funkčnosti), a tady máš odkaz na sitemapu. Pro naprostou většinu webů je takové nastavení dostačující.

Co robots.txt umí a co neumí

Tady vzniká nejčastější a nejnebezpečnější omyl v celém technickém SEO. Robots.txt řídí procházení (crawling), ne indexaci. To znamená: když stránku zakážete v robots.txt, robot ji sice neprojde, ale pokud na ni vedou odkazy, může se stejně dostat do výsledků vyhledávání — jen bez popisku, s hláškou, že obsah nelze zobrazit.

Chcete-li stránku skutečně dostat mimo index, nesmíte ji blokovat v robots.txt, ale naopak ji nechat projít a označit ji značkou noindex (meta robots). Když ji zablokujete v robots.txt, robot se k té značce noindex vůbec nedostane, protože stránku vůbec nenačte. Zablokování v robots.txt a snaha o odstranění z indexu se tak vzájemně vylučují.

• Robots.txt použijte na: šetření crawl budgetu (nepouštět roboty do nekonečných filtrů, košíku, vyhledávání na webu).
• Robots.txt nepoužívejte na: skrývání stránek z výsledků vyhledávání — na to slouží noindex.
• Nikdy neblokujte: CSS a JavaScript, které web potřebuje k vykreslení. Google by pak viděl rozbitou stránku.

Časté chyby v robots.txt

• Disallow: / — jediné lomítko zakáže celý web. Klasika po přechodu z vývojové verze do ostrého provozu, kdy se zapomene odblokovat.
• Blokování CSS a JS složek, kvůli čemuž Google nevidí web tak, jak vypadá, a hůř ho hodnotí.
• Snaha „schovat“ stránku před Googlem přes Disallow, přestože na ni vedou odkazy — skončí v indexu bez popisku.
• Chybějící odkaz na sitemapu, takže roboti přijdou o pohodlný seznam adres.
• Překlepy v cestách — robots.txt je citlivý na přesný zápis a velikost písmen.

Nejzákeřnější je první bod. Po spuštění nového webu vždy jako první zkontrolujte, že robots.txt neobsahuje Disallow: / zděděné z testovacího prostředí. Je to nejčastější příčina toho, proč nově spuštěný web zmizí z Googlu.

Co je sitemap.xml

Sitemap.xml (mapa webu ve formátu XML) je opak robots.txt v pozitivním smyslu. Zatímco robots.txt říká, kam nechodit, sitemapa nabízí vyhledávačům kompletní, uspořádaný seznam adres, které chcete mít naindexované. Ke každé adrese může přidat i doplňkové informace, například kdy byla naposledy změněna.

Sitemapa je zvlášť užitečná u velkých webů, u nových webů bez zpětných odkazů a u stránek, které jsou hluboko ve struktuře a robot by se k nim dostával obtížně. Není to sice záruka indexace, ale výrazně usnadňuje robotům práci a urychluje objevení nového a změněného obsahu.

Co patří a nepatří do sitemapy

Zlaté pravidlo: v sitemapě mají být jen ty adresy, které chcete mít ve výsledcích vyhledávání — a všechny takové adresy. Nekonzistence mezi sitemapou a skutečností mate roboty i vás při diagnostice.

• Patří tam: stránky vracející kód 200, indexovatelné, kanonické verze URL.
• Nepatří tam: stránky s noindex, přesměrované (301), chybové (404), nekanonické verze a stránky blokované v robots.txt.
• Časté nedopatření: v sitemapě zůstanou staré přesměrované nebo smazané adresy, což generuje varování v Search Console.

Jak vytvořit a odeslat sitemapu na WordPressu

Na WordPressu si sitemapu nemusíte psát ručně — vygeneruje ji SEO plugin. Postup s pluginem Yoast SEO:

1. V Yoast SEO ověřte, že jsou XML sitemapy zapnuté (bývá to výchozí nastavení).
2. Sitemapu najdete na adrese vasedomena.cz/sitemap_index.xml — je to rozcestník na dílčí sitemapy (příspěvky, stránky, kategorie).
3. V nastavení Yoast rozhodněte, které typy obsahu se mají v sitemapě objevit — vylučte to, co nemá být v indexu.
4. Odkaz na sitemapu přidejte do robots.txt (řádek Sitemap:).
5. V Google Search Console otevřete sekci Sitemapy, vložte adresu sitemap_index.xml a odešlete.
6. Po pár dnech v Search Console zkontrolujte, kolik adres bylo objeveno a naindexováno.

Sitemapu odešlete do Search Console jen jednou — Google si ji pak pravidelně načítá sám. Když web pravidelně publikuje, sitemapa se automaticky aktualizuje a Google nový obsah objeví rychleji.

Robots.txt, meta robots a noindex: kdo za co odpovídá

Tyto tři pojmy se pletou nejčastěji, přitom mají jasně oddělené role. Robots.txt řídí, jestli robot stránku vůbec projde. Meta robots (značka v HTML hlavičce stránky) řídí, co s ní robot udělá poté, co ji projde — třeba noindex znamená „projdi, ale nedávej do indexu“ a nofollow „nesleduj odkazy na této stránce“.

Praktický důsledek jsme už zmínili, ale opakování se vyplatí: chcete-li stránku z indexu, potřebujete noindex, a proto ji nesmíte blokovat v robots.txt. Chcete-li jen ušetřit robotům čas na nedůležitých částech webu, použijte robots.txt. Obě věci najednou na stejnou stránku nedávají smysl.

Jak spolu robots.txt a sitemapa souvisí

Nejlépe fungují jako dvojice, která dává robotům konzistentní obraz webu. Robots.txt vymezí, kam roboti nemají chodit, sitemapa jim ukáže, co je naopak důležité projít a naindexovat. Rozpor mezi nimi je klasický zdroj problémů: adresa uvedená v sitemapě, ale zároveň blokovaná v robots.txt, vytváří v Search Console varování a mate roboty.

Zdravé nastavení proto drží jedno pravidlo: co je v sitemapě, nesmí být blokováno v robots.txt ani mít noindex, a co má být skryté, nepatří do sitemapy. Když si tuhle konzistenci ohlídáte, ušetříte si většinu chyb kolem indexace.

Checklist technické indexace

• Robots.txt existuje, je dostupný a neobsahuje omylem Disallow: /.
• CSS a JS složky nejsou blokované.
• V robots.txt je odkaz na sitemapu.
• Sitemapa obsahuje jen indexovatelné stránky s kódem 200, žádné 301, 404 ani noindex.
• Sitemapa je odeslaná v Search Console a Google z ní adresy objevuje.
• Stránky, které nemají být v indexu, mají noindex a nejsou blokované v robots.txt.

Kde technické nastavení indexace končí

Robots.txt a sitemapa zajistí, že se váš obsah dostane před vyhledávač ve správné podobě. Co s ním vyhledávač udělá dál — jestli ho zařadí vysoko, nebo nízko — už závisí na kvalitě obsahu, technickém stavu webu a odkazech. Bezchybná indexace je nutná podmínka, ne dostačující.

Pokud řešíte, proč se některé stránky neindexují nebo naopak proč jsou v indexu věci, které tam nechcete, obvykle je za tím kombinace faktorů. Vyplatí se web projít crawlerem, ohlídat přesměrování a rychlost a nechat si udělat SEO audit, který indexaci posoudí v kontextu celého webu.

Modelový příklad: proč web zmizel z Googlu

Stojí za to zmínit i historii souboru. Robots.txt existuje od roku 1994 jako neformální dohoda mezi tvůrci webů a vyhledávači, tzv. Robots Exclusion Protocol. Dlouho šlo jen o zvyklost, kterou roboti dobrovolně dodržovali. Teprve v roce 2022 se protokol stal oficiálním internetovým standardem (RFC 9309), což sjednotilo, jak mají roboti soubor interpretovat. Pro praxi to znamená, že se na chování hlavních vyhledávačů můžete spolehnout — ale jen na chování těch, kteří pravidla respektují.

Klasický scénář, který v praxi vídáme opakovaně: firma spustí redesign webu. Nová verze se týdny připravovala na vývojové adrese, kde měla v robots.txt zapsané Disallow: / — správně, aby se rozpracovaná verze nedostala do Googlu. Při nasazení do ostrého provozu ale nikdo tento řádek neodstranil. Web se spustil, vypadal skvěle a nikdo neřešil robots.txt.

Během následujících dvou týdnů začaly klesat pozice a návštěvnost z vyhledávání se propadla skoro k nule. Diagnóza byla během minuty jasná: robots.txt zakazoval procházení celého webu, takže Google postupně vyřazoval stránky z indexu. Oprava byla triviální — smazat jeden řádek — ale návrat do původního stavu trval několik týdnů, než Google web znovu prošel a naindexoval.

Ponaučení je jednoznačné: po každém spuštění nebo migraci webu je kontrola robots.txt úplně první úkol. Jeden špatný řádek dokáže napáchat víc škody než měsíce zanedbaného obsahu. Proto patří robots.txt na začátek každého poletového checklistu.

Specifika robots.txt a sitemapy pro e-shopy

U e-shopů je práce s robots.txt a sitemapou náročnější, protože vzniká obrovské množství adres, které nemají být v indexu. Filtrování produktů podle barvy, velikosti a ceny generuje nekonečné kombinace URL s parametry. Kdyby je robot procházel všechny, vyplýtval by crawl budget na duplicity a k důležitým produktům by se dostával pomaleji.

Řešení kombinuje více nástrojů: parametrické a filtrované adresy, které nemají hodnotu pro vyhledávání, se buď blokují v robots.txt (šetření crawl budgetu), nebo se řeší kanonizací a značkou noindex podle toho, jestli na ně vedou odkazy. Do sitemapy patří jen čisté kategorie a produktové stránky. Právě u e-shopů se nejvíc vyplatí konzistence mezi robots.txt, kanonickými adresami a sitemapou, protože chaos v indexaci tu stojí reálné tržby.

Obecné pravidlo pro velké weby zní: čím víc stránek web má, tím důležitější je roboty aktivně řídit. Malý web s dvaceti stránkami se o crawl budget starat nemusí, e-shop s deseti tisíci URL ano. Technická indexace tak roste v důležitosti spolu s velikostí webu.

Shrnuto do jedné věty: robots.txt a sitemapa spolu tvoří technický rám, ve kterém se pohybuje všechno ostatní SEO. Když jsou nastavené správně, ani si jich nevšimnete. Když jsou nastavené špatně, dokážou zneviditelnit i ten nejlepší obsah.

Nejčastější dotazy o robots.txt a sitemap.xml

Musí mít každý web robots.txt?

Nemusí. Když robots.txt chybí, roboti prostě procházejí celý web bez omezení, což u malého webu nevadí. Přesto se vyplatí ho mít — aspoň kvůli odkazu na sitemapu a možnosti ušetřit crawl budget. U větších webů je robots.txt prakticky nutnost.

Odstraní robots.txt stránku z Googlu?

Ne, a je to nejčastější omyl. Blokování v robots.txt zabrání procházení, ale pokud na stránku vedou odkazy, může se objevit ve výsledcích bez popisku. Pro odstranění z indexu použijte značku noindex a stránku v robots.txt naopak neblokujte, aby se robot k noindexu dostal.

Jak často se sitemapa aktualizuje?

U sitemapy generované SEO pluginem se aktualizuje automaticky pokaždé, když publikujete nebo upravíte obsah. Google si ji pak sám pravidelně načítá, takže do Search Console ji stačí odeslat jednou. Ručně vytvořené sitemapy je potřeba aktualizovat manuálně.

Co je crawl budget a koho se týká?

Crawl budget je množství stránek, které robot na webu projde za určitý čas. U malých webů do několika set stránek se jím nemusíte zabývat — Google je projde bez problému. Řešit ho začnete u velkých webů a e-shopů, kde má smysl přes robots.txt zabránit procházení nekonečných filtrů a duplicit.

Můžu mít víc sitemap?

Ano a u větších webů je to běžné. Typicky existuje jedna hlavní sitemapa (index), která odkazuje na dílčí sitemapy podle typu obsahu — příspěvky, stránky, produkty, obrázky. Do Search Console pak stačí odeslat hlavní indexovou sitemapu a Google si z ní dílčí načte sám.

Jak zkontroluji, že mám robots.txt správně?

Otevřete si vasedomena.cz/robots.txt v prohlížeči a zkontrolujte obsah. Pak využijte nástroje v Search Console, který ukáže, jestli Google k důležitým stránkám má přístup. Po každé změně webu, hlavně po spuštění nové verze, kontrolu zopakujte — nejvíc chyb vzniká právě při nasazování.

Zrychlí sitemapa indexaci nového obsahu?

Pomáhá, ale není to zaručené tlačítko. Sitemapa robotům usnadní objevení nových adres, zvlášť u webů bez silného interního prolinkování nebo zpětných odkazů. Samotné zařazení do indexu ale závisí i na kvalitě obsahu a autoritě webu. Sitemapa proces spíš urychlí, než že by ho garantovala.