robots txt文件怎么写？robots.txt 写法与 SEO 抓取规则全解析

📍 WDQWDWQD987AAAAA:216.73.217.16
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /88cdb6f8f407.html
📄

robots txt文件是网站根目录下的纯文本协议文件，用来告诉搜索引擎爬虫哪些页面可以抓取、哪些需要回避。它不强制阻止收录，但会直接影响蜘蛛的抓取路径，因此是SEO基础配置中不可忽视的一环。

robots.txt 文件应该放在哪里

文件必须命名为 robots.txt，并放置在网站域名根目录下，例如 https://www.example.com/robots.txt。子目录中的同名文件不会被主流搜索引擎识别。文件需保持UTF-8编码，使用纯文本格式，避免BOM头导致解析异常。

robots.txt 的基本语法

• User-agent：指定生效的爬虫，如 Googlebot、Baiduspider，使用 * 表示所有爬虫。
• Disallow：禁止抓取的路径，值为 / 表示全站禁止。
• Allow：在禁止规则中开放特定路径，优先级通常高于 Disallow。
• Sitemap：声明站点地图地址，帮助爬虫发现重要页面。

一个常见写法是：

User-agent: *
Disallow: /admin/
Disallow: /search/
Allow: /search/help/
Sitemap: https://www.example.com/sitemap.xml

robots.txt 的常见误区

第一，robots.txt 不是安全工具，被禁止的URL仍可能被外部链接暴露。第二，不要用 Disallow 屏蔽CSS和JS文件，否则会影响搜索引擎渲染页面。第三，若希望页面不被收录，应配合 noindex 元标签，而不是只依赖robots.txt。第四，规则按最具体匹配生效，写完后建议用搜索引擎官方工具测试。

robots.txt 与SEO优化建议

合理配置robots txt文件可以减少无效抓取、集中权重。建议屏蔽后台、购物车、搜索结果页等低价值路径，同时在文件末尾声明Sitemap。修改后通过百度搜索资源平台或Google Search Console验证抓取状态，确保重要栏目不被误屏蔽。