🤖 Robots.txt 生成器
免费 · 可视化
轻松创建搜索引擎爬虫规则文件 | 支持多User-agent · Allow/Disallow · Sitemap
✅ 允许所有
🚫 禁止所有
📁 屏蔽WordPress后台
🔄 清空重置
1️⃣ 爬虫标识 (User-agent)
* 表示所有搜索引擎,也可指定具体爬虫如 Googlebot, Baiduspider
2️⃣ 路径规则 (Allow/Disallow)
Disallow
Allow
🗑️
+ 添加规则
3️⃣ Sitemap 地址 (可选)
多个Sitemap可换行添加,建议每行一个(本工具支持输入多个,用逗号或空格分隔)
✨ 生成 robots.txt
📄 生成预览
# 等待生成配置...
📋 复制内容
⬇️ 下载 robots.txt
💡 将生成的文件上传至网站根目录(如 https://你的域名/robots.txt)即可生效。