Generátor robots.txt

Sestavte robots.txt s více bloky user-agent, pravidly Allow/Disallow, volitelným Crawl-delay, Host a řádky Sitemap. Živý náhled se aktualizuje během psaní.

Bloky User-agent

Globální

URL souborů Sitemap (jedna na řádek) Host (volitelné; používají některé crawlery)

Poznámky: Host respektují některé prohledávače (např. Yandex). Crawl-delay Google nevyužívá, jiní jej ale mohou podporovat. Zástupné znaky * a $ jsou široce podporovány (nejsou v základním RFC).

Náhled (robots.txt)

Tester URL

User-agent URL nebo cesta

Připomenutí: robots.txt je veřejně dostupný a slouží jako doporučení pro korektně se chovající crawlery; není to mechanismus řízení přístupu.

Komentáře (0)

Podělte se o svůj názor — prosím, buďte slušní a držte se tématu.

Zatím žádné komentáře. Zanechte komentář a podělte se o svůj názor!

Přihlaste se pro komentování

E-mail

Heslo

Zapomněli jste heslo? Vytvořit účet

Poháněno

Asted Cloud