Protokol pro zakázání přístupu robotům

Z Wikipedie, otevřené encyklopedie
Skočit na navigaci Skočit na vyhledávání

Protokol pro zakázání přístupu robotům (robots.txt) je textový soubor, který umožňuje správci webu zakázat nebo povolit přístup některých Botů (např. Googlebot, Jyxobot aj.). Tento soubor se musí nacházet v kořenovém adresáři daného webu.

Příklady[editovat | editovat zdroj]

Uvedením následujícího textu v souboru robots.txt lze zakázat indexování všech vyhledávačů:

User-agent: *
Disallow: /

Následující příklad zakáže všem robotům, aby indexovali obsah složek /cgi-bin, /images, /tmp a /private:

User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/

Zakázaní Googlebotu indexovat vše v adresáři /en:

User-Agent: Googlebot
Disallow: /en/

Alternativy[editovat | editovat zdroj]

HTML tagy[editovat | editovat zdroj]

Zakázat indexování lze i vložením následujícího HTML kódu mezi tzv. metatagy:

<meta name="robots" content="noindex,nofollow" />

Související články[editovat | editovat zdroj]

Externí odkazy[editovat | editovat zdroj]