robots.txt 生成器
可视化添加 Allow / Disallow 规则，填好 User-agent、Crawl-delay 与 Sitemap 地址，右边实时生成 robots.txt，一键复制或下载为文件，直接传到网站根目录即可生效。
上传到网站根目录后，通过 http://www.duzhi.net/robots.txt 验证内容是否生效。修改后搜索引擎通常数天内重新读取。
使用说明
- 选预设或从零开始
「笃志资源网同款」按本站真实配置生成（屏蔽后台、会员登录页、备份目录，放行核心内容）；也可以点「全站允许」清空规则重新添加。
- 添加规则
点「+ 添加一条规则」，选 Allow 或 Disallow，填路径（如 /manager/）。行尾的 × 删除该条。
- 补全信息
填 Crawl-delay（建议 1–2 秒，减轻 Access 数据库压力）和 Sitemap 地址（让引擎直接发现全站链接）。
- 复制或下载
复制内容粘贴到服务器根目录的 robots.txt，或直接下载文件上传。路径大小写不敏感，但目录名要与服务器实际一致。
常见问题
robots.txt 应该放在哪里？
必须放在网站根目录，通过 http://www.duzhi.net/robots.txt 直接访问。放在子目录里无效，文件名必须小写 robots.txt。
robots.txt 支持 * 通配符吗？
部分支持。User-agent 后的 * 是标准通配符（匹配所有爬虫）；路径里的 * 前缀匹配只有 Google、Bing 等部分引擎支持，百度不支持。稳妥做法是按目录或前缀逐条写 Disallow。
已经做了 301 的旧 URL，还能在 robots 里屏蔽吗？
不能。搜索引擎需要先抓取旧 URL 才能看到 301 跳转并转移权重；若在 robots 里屏蔽，爬虫不会抓取，301 永远无法被发现，旧收录的权重全部浪费。robots 只屏蔽无收录价值的页面，不屏蔽已配置跳转的旧地址。
Crawl-delay 有用吗？
对百度等国内引擎有效，可以减小抓取频率、降低服务器压力；Google 已忽略该指令（改用 Search Console 的抓取速率设置）。Access 数据库站点建议设置 1 到 2 秒。