Robots.txt 生成器
选择允许全部、禁止全部或自定义策略，生成 robots.txt，按最长匹配规则测试路径，并复制或下载标准文件。
生成爬虫规则、Sitemap 声明并测试路径匹配。 · 关键词：robots.txt、Robots 生成器、搜索引擎爬虫、SEO、User-agent、Disallow、Allow、Sitemap、站长工具
常见问题
robots.txt 可以保护后台或敏感文件吗？
不能。它只是对守规矩爬虫的抓取约定，文件本身公开可见；敏感资源必须使用登录鉴权和服务器访问控制。
Allow 和 Disallow 同时匹配时如何判断？
主流搜索引擎通常采用最具体、最长的匹配规则；页面的路径测试也按这一常见方式模拟，相同长度时优先 Allow。
Crawl-delay 所有搜索引擎都支持吗？
不是。不同爬虫对该指令的支持不一致，应优先使用站长平台或服务器限速配置，并查看目标爬虫文档。
生成内容会上传吗？
不会，规则生成、路径测试和文件下载全部在当前浏览器内完成。