robots.txt 文件生成器
勾选规则或手动增删 Allow / Disallow 行，自动拼接 Sitemap，生成后复制放到站点根目录即可。
规则构建 / Rules
默认模板
输出 / Output
等待生成
规则 0 条
输出 0 字符
耗时 0 ms
就绪
About
robots.txt 怎么写
robots.txt 放在站点根目录（如 https://www.example.com/robots.txt），按 User-agent 分组声明 Allow / Disallow 规则。本工具把勾选项拼成规范文本，生成后复制成文件上传即可。
常用场景
- 屏蔽后台、测试目录（
/admin、/dev）不被收录 - 新站上线提交 Sitemap 路径，方便搜索引擎发现页面
- 误配 404 时用「全站开放」预设一键恢复默认
小提示
robots.txt 只是「君子协定」——它能阻止正规蜘蛛抓取，但挡不住恶意爬虫；敏感数据仍要靠服务端鉴权。改完可用搜索引擎的「网址检测」工具重新抓取验证。