robots.txt规则详解：正确配置与常见误区

📍 WDQWDWQD987AAAAA:216.73.217.16
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /7e592aae775a.html
📄

robots.txt 是搜索引擎爬虫访问网站时首先查看的协议文件，合理的 robots.txt 规则能引导抓取、保护敏感目录。但配置不当也可能导致页面无法被收录。本文梳理 robots.txt 规则的核心要点与常见误区。

robots.txt 规则的基本语法

robots.txt 采用纯文本格式，每行一条规则，主要由 User-agent、Allow、Disallow、Sitemap 等字段组成。常见写法如下：

• User-agent：指定规则适用的爬虫，如 * 表示所有爬虫。
• Disallow：禁止抓取的路径，留空表示允许全部。
• Allow：允许抓取的路径，常用于覆盖 Disallow。
• Sitemap：声明站点地图地址，便于爬虫发现页面。

配置 robots.txt 规则的注意事项

第一，规则按路径前缀匹配，且 Allow 与 Disallow 同时存在时，以更具体、更长的路径为准。第二，Disallow 只阻止抓取，不阻止索引；若需彻底移除页面，应使用 noindex 或删除页面。第三，不要用 robots.txt 屏蔽 CSS、JS 等资源，否则会影响搜索引擎渲染和评估。

常见误区

1. 误以为 Disallow 能阻止页面出现在搜索结果中。
2. 规则写得过于宽泛，误伤重要栏目。
3. 使用通配符和结尾匹配时未测试，导致规则失效。
4. 忘记声明 Sitemap，降低抓取效率。

如何验证 robots.txt 规则

配置完成后，可通过搜索引擎站长平台的 robots.txt 测试工具验证，或直接访问 域名/robots.txt 检查返回内容。建议上线前在测试环境确认规则生效，避免因误屏蔽造成流量损失。

总之，robots.txt 规则应保持简洁、精准，并定期随网站结构调整而更新，才能在抓取效率与内容保护之间取得平衡。