🤖 Robots.txt 生成器
生成 robots.txt 规则、站点地图声明与常见爬虫策略。
默认只生成针对 `User-agent: *` 的基础规则。你可以在“额外规则块”里补充 Googlebot、Bingbot 等单独策略。
在线 Robots.txt 生成器，可快速生成默认爬虫策略、Allow / Disallow 路径、Sitemap 声明和 Crawl-delay 配置。适合新站上线、SEO 基础配置和爬虫访问规则整理，输出可直接复制到 robots.txt 文件中。
生成 robots.txt 规则、站点地图声明与常见爬虫策略。
在线 Robots.txt 生成器，可快速生成默认爬虫策略、Allow / Disallow 路径、Sitemap 声明和 Crawl-delay 配置。适合新站上线、SEO 基础配置和爬虫访问规则整理，输出可直接复制到 robots.txt 文件中。