Robots.txt文件配置指南：从规则原理到实战避坑
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /f445f1c79569.html
📄
Robots.txt是网站根目录下的一个普通文本文件，用来告知搜索引擎爬虫哪些路径可以抓取、哪些需要避开。合理设置它，能帮爬虫节省资源、提升重要页面的收录效率，同时减少无用页面的抓取压力。不过它并非安全屏障，恶意爬虫完全可以无视规则，这一点在配置前需要先搞清楚。
1. Robots.txt的核心组成与执行逻辑
爬虫访问站点时，会先请求根目录下的robots.txt文件。文件内容主要由四类指令构成：User-agent指定规则适用于哪个爬虫；Disallow声明禁止访问的路径；Allow用于在禁止范围内单独放行某个路径；Sitemap则主动告知网站地图位置，方便爬虫快速发现内容。
规则匹配时遵循最长匹配原则。比如先写Disallow: /api，再写Allow: /api/public，那么爬虫会跳过整个api目录，但允许进入public子目录。理解这一点，才能避免写出互相矛盾的规则。
另外，路径区分大小写，/About与/about是两个完全不同的地址，配置前务必核对站点实际目录结构。
2. 从零搭建一份标准Robots.txt
使用记事本、VS Code等纯文本工具即可创建文件。文件名必须是小写的robots.txt，上传到网站根目录，确保能通过https://你的域名/robots.txt直接访问。
最简单的放行写法是：
- User-agent: * 表示对所有爬虫生效
- Disallow: 留空，表示允许抓取整站
如果需要屏蔽某个目录，例如后台管理区，可以写成：
- 第一行写User-agent: *
- 第二行写Disallow: /admin/
- 保存后上传至根目录，覆盖原有文件
写注释时用井号开头，例如# 禁止抓取后台，方便后续维护。注意每行只能写一条指令，不要用逗号或分号合并多条规则。
3. 实战中的典型配置与高频坑点
以下几种场景在真实站点中最为常见，配置时需格外小心：
- 只屏蔽特定爬虫：例如只想限制某个采集爬虫，可以写User-agent: BadBot配合Disallow: /，其他爬虫不受影响。建议先查清该爬虫的完整UA名称，写错则规则失效。
- 禁止参数化URL：电商或内容站常用Disallow: /*?*来拦截带问号的动态链接，避免爬虫陷入无限抓取。但如果你依赖URL参数来区分页面内容，则需要单独放行，否则会漏掉关键页面。
- 局部放行：在Disallow: /之后使用Allow: /public/，可以精确恢复某个目录的抓取权限。这是覆盖规则最常用的手段。
常见的两个误区：一是把Disallow:留空误认为禁止访问，实际上它表示全部放行；二是认为robots.txt能保护隐私信息。实际上，只要知道链接，用户依然能直接访问到被禁止的页面，robots.txt只是阻挡主动抓取而已。真正需要保密的内容，应改用登录验证或noindex标签。
4. 测试、部署与持续维护
上线前务必先在搜索引擎站长工具中测试。Google Search Console的robots.txt测试器可以模拟真实爬虫请求，逐条检查规则是否命中预期路径。重点排查首页、核心分类页、产品详情页是否被误屏蔽。
部署后建议定期查看爬虫抓取日志，观察实际抓取量与规则预期是否一致。如果发现核心页面抓取频率骤降，优先检查robots.txt是否有语法错误或路径大小写不匹配。站点改版、目录结构调整后，需要同步更新文件，避免旧规则残留影响新页面的收录。
每次修改后保留一份历史版本，方便出问题时快速回滚。对于大型站点，还可以将robots.txt的更新纳入发布流程，作为上线检查清单中的一项。
5. 常见问题
5.1 Robots.txt写错了会影响网站排名吗？
会。若误将整站禁止抓取，爬虫将无法访问任何页面，导致收录被清空，排名自然消失。配置后务必用站长工具模拟测试，并观察一周内的抓取数据变化。
5.2 如何让某个页面不被搜索引擎收录？
robots.txt可以阻止爬虫抓取，但无法阻止其他网站通过链接指向该页面。更稳妥的方式是在页面头部添加noindex标签，这样即使页面被访问也不会进入索引库。两者可以配合使用。
5.3 文件放在子目录或CDN上可以吗？
不可以。robots.txt必须放在域名根目录，即主站服务器上。如果启用了CDN或镜像站，需要在每个独立域名的根目录分别放置对应文件，否则爬虫在该域名下找不到规则，会按默认方式抓取。
6. 结语
配置robots.txt的重点是明确抓取边界，而不是一味屏蔽。建议从放行整站开始，逐步添加必要的Disallow规则，每改一步都做一次测试。对于敏感数据，始终优先考虑密码保护或noindex标签，而不是依赖robots.txt。定期检查日志、随站点改版同步更新，才能让这份小文件持续发挥正确作用。
