检查哪些 AI 爬虫能访问你的网站
用 22 个 AI 爬虫 user-agent 检查你的 robots.txt，再以 OAI-SearchBot、GPTBot、ClaudeBot、PerplexityBot 的身份实际抓取页面，查出 CDN/WAF 拦截，测量有多少文字依赖 JavaScript，并给出按优先级排列的修复清单。免费，不保存数据。
推荐的 AI 可见性 robots.txt 规则
以上是免费检查。想看完整诊断？
工具只能告诉你 AI 爬虫能不能访问你的网站，没法告诉你为什么 ChatGPT 推荐的是竞品。这正是我们 GEO 团队做的事：
- 问题审计：你所在品类里，ChatGPT、Perplexity、Gemini、Google AI 概览会回答哪些问题，引用了哪些品牌和来源
- 技术修复：爬虫访问、渲染、llms.txt、结构化数据，以及答案引擎能直接引用的页面结构
- 可被引用的内容：围绕买家真实提问做对比页、替代品页和 FAQ 页
- 第三方证据：在 Reddit、论坛和测评站以真实、公开身份参与讨论——这些正是 AI 回答依赖的来源
搜索爬虫 vs. 训练爬虫：最关键的区分
主流 AI 公司现在都把爬虫分成两类：搜索（抓取页面，让回答可以引用和链接）和训练（为未来的模型收集数据）。你可以屏蔽训练爬虫，同时仍然被 AI 搜索引用。常见的反向错误是：把所有带“AI”字样的爬虫一刀切屏蔽，结果悄悄从 ChatGPT 和 Perplexity 的回答里消失。
| User-agent | 所属 | 作用 | 屏蔽后的影响 |
|---|---|---|---|
OAI-SearchBot | OpenAI | 为 ChatGPT 搜索结果和引用建索引 | 可能从 ChatGPT 搜索回答里消失 |
ChatGPT-User | OpenAI | 用户让 ChatGPT 打开某个页面时实时抓取 | ChatGPT 无法按用户要求打开你的页面 |
GPTBot | OpenAI | 为模型训练收集数据 | 不影响 ChatGPT 搜索（是两个不同爬虫） |
Claude-SearchBot / Claude-User | Anthropic | 搜索索引 / 用户请求时抓取 | Claude 引用你页面的机会变少 |
ClaudeBot | Anthropic | 模型训练 | 不影响 Claude 搜索 |
PerplexityBot / Perplexity-User | Perplexity | 为回答建索引 / 用户请求时抓取 | Perplexity 无法引用你 |
Googlebot | 搜索、AI 概览（AI Overviews）和 AI 模式 | 你会整体从 Google 消失 | |
Google-Extended | 控制内容是否用于 Gemini 训练与 grounding | 不用于搜索排名，也不影响 AI 概览 | |
Bingbot | Microsoft | Bing 和 Copilot 回答 | 失去 Bing 和 Copilot 引用 |
CCBot | Common Crawl | 很多模型厂商使用的公开网页数据集 | 未来训练语料里出现得更少 |
标识来自各公司公开的爬虫文档。上方工具共测试 22 个 user-agent。
工具如何解读你的 robots.txt
工具遵循 robots.txt 标准（RFC 9309）和 Google 公开的解析规则，结果与守规矩的爬虫实际行为一致：
- 具名分组会替代 * 分组。如果写了
User-agent: GPTBot，GPTBot 会完全忽略User-agent: *下的规则。 - 最长匹配规则优先。对博客 URL 来说，
Allow: /blog/优先于Disallow: /。 - 长度相同时，Allow 优先。
- 支持
*通配符和$结尾锚点。 - 没有 robots.txt（404）等于全部允许。返回 5xx 错误时，Google 等会把整站当作禁止抓取，直到修复。
可以用“路径”选项测试具体 URL，比如被 Disallow: /products/*? 规则影响的商品页；也可以粘贴一份草稿 robots.txt，上线前先测。
悄悄挡住 AI 搜索的常见错误
- 测试环境规则被带上线：开发时留下的
User-agent: *+Disallow: /会挡住所有 AI 爬虫，不只是 Google。 - 为了“不进 ChatGPT”而屏蔽 GPTBot。GPTBot 是训练爬虫；ChatGPT 搜索用的是 OAI-SearchBot 和 ChatGPT-User。要分别决定。
- 加了具名分组却忘了私有规则。某个爬虫一旦有了自己的分组，
*下的Disallow: /admin/对它就不再生效，记得复制过去。 - CDN 层的 AI 爬虫拦截。Cloudflare 等 CDN 提供一键拦截 AI 爬虫，部分新站默认开启，会覆盖宽松的 robots.txt。
- 内容只有在 JavaScript 运行后才出现。大多数 AI 爬虫不执行 JavaScript，前端渲染的价格、参数、评价即使允许抓取也可能看不到。
- 以为 Google-Extended 会影响 AI 概览。不会；AI 概览和 AI 模式用的是普通的 Googlebot 抓取。
出海品牌还常遇到一种情况：服务器或 CDN 只对中国大陆以外做了地区限制，或者反过来只允许国内 IP 访问——海外 AI 爬虫同样会被挡住。
实时访问测试：robots.txt 告诉不了你的事
robots.txt 宽松，只说明爬虫被允许；实时测试检查的是服务器有没有真的把页面给它们。工具会通过中立的抓取服务请求页面五次：一次以普通浏览器身份（作为基准），另外四次分别用 OAI-SearchBot、GPTBot、ClaudeBot、PerplexityBot 的官方 user-agent。然后再抓一份完整渲染后的版本，比较文字量。
| 结果 | 含义 | 常见修法 |
|---|---|---|
| 已屏蔽（401/403/429/503） | CDN、防火墙或主机拒绝了这个 user-agent。 | Cloudflare：Security → Bots、AI Crawl Control、WAF 自定义规则、限速规则。其他主机：机器人管理或防火墙规则。 |
| 验证页 | 爬虫拿到的是“请验证你是真人”页面，而不是内容。 | 对经过验证的 AI 搜索爬虫跳过验证，或调低内容页的安全等级。 |
| 内容过少 | 爬虫拿到的文字远少于浏览器。 | 给爬虫和用户返回相同的 HTML；检查同意弹窗和针对爬虫的模板。 |
| 原始 HTML 文字少 | 大部分文字要等 JavaScript 运行后才出现。 | 对产品信息、价格、参数、FAQ 做服务端渲染（SSR/SSG）或预渲染。 |
需要知道的局限：请求来自抓取服务的 IP，而不是 OpenAI 或 Anthropic 的 IP。“已屏蔽”是强信号，说明仅凭 user-agent 就会被拒绝；“正常”说明 user-agent 没被拒绝，但会校验爬虫 IP 的 CDN 仍可能对真实爬虫区别对待，最好再到服务器日志或 CDN 统计里确认。
报告还会检查 robots.txt 有没有声明站点地图，并给出 Bing site: 搜索链接。Copilot 依据 Bing 索引作答，也有报道称 ChatGPT 搜索会参考它，所以没被 Bing 收录的页面更难被引用。可以在 Bing Webmaster Tools 提交站点地图并开启 IndexNow 加快收录。
该允许什么：一个合理的默认方案
对希望被 AI 回答推荐的大多数品牌，默认方案应是：允许所有 AI 搜索爬虫，私有路径继续禁止，对训练爬虫做一个明确的商业决定。有版权授权价值的媒体通常会屏蔽训练；产品和服务品牌一般也能从训练数据中受益，因为模型会由此学到“哪些品牌属于这个品类”。
工具里的规则生成器两种版本都能写。把它贴在现有规则上方，把你的私有 Disallow 行复制进 AI 分组，然后重新检查。
访问没问题之后，下一步是让内容值得被引用：ChatGPT 搜索排名指南、如何被 Perplexity 引用，以及免费 llms.txt 生成器。
免费检查 vs. 我们代做 GEO
能不能访问是个是非题，这个工具免费回答。AI 回答会不会真正推荐你，取决于它们在别处读到了哪些关于你所在品类的内容。
这个工具免费给你的
- 根据站点地图生成格式正确的 llms.txt
- 用 22 个 AI 爬虫 user-agent 检查 robots.txt
- 以 4 个 AI 爬虫身份实测抓取，查出 CDN/WAF 拦截和只靠 JavaScript 的内容
- 被屏蔽的 AI 搜索爬虫，给出可直接复制的修复规则
- 随时可重跑的格式校验
我们的 GEO 服务额外做的
- 你所在品类哪些买家问题会触发 AI 回答，目前被引用的是谁
- 为什么 AI 推荐竞品而不是你（来源、页面、提及）
- 改写现有页面，新建可被引用的对比页和 FAQ 页
- 持续追踪 ChatGPT、Perplexity、Gemini、Google AI 概览中的表现
- 在 Reddit 和论坛以公开身份参与讨论——AI 回答依赖的正是这些来源
常见问题
怎么检查网站有没有屏蔽 GPTBot 或 ClaudeBot？
在上方工具输入域名即可。它会抓取你线上的 robots.txt，按爬虫实际使用的匹配规则判断，并显示 GPTBot、ClaudeBot 等 22 个 AI user-agent 是允许还是屏蔽，以及起决定作用的具体规则。
屏蔽 GPTBot 会让网站从 ChatGPT 消失吗？
不会。GPTBot 收集训练数据；ChatGPT 搜索结果和引用依赖 OAI-SearchBot，ChatGPT-User 负责抓取用户点名要看的页面。可以屏蔽 GPTBot，但想被引用就要允许 OAI-SearchBot。
允许 AI 爬虫会影响 Google 排名吗？
不会。允许或屏蔽 AI 爬虫对 Googlebot 没有影响。Google-Extended 只控制内容是否用于 Gemini 训练和 grounding，不用于搜索排名。
robots.txt 全部允许，AI 工具还是读不到网站，为什么？
最常见的原因是 CDN 或防火墙的爬虫拦截（例如 Cloudflare 的 AI 爬虫控制）、登录墙或地区限制，以及只靠 JavaScript 渲染的内容。这些都不是 robots.txt 能解决的。保持“实时访问测试”勾选，工具会以四个 AI 爬虫身份抓取页面，告诉你是哪一种情况。
这个 AI 爬虫检查工具免费吗？
免费，无需注册。工具在你的浏览器中运行，通过公开的 Jina Reader 服务抓取 robots.txt 和你的页面；MaxGrowth 不保存你测试的域名。
国内的 AI 爬虫要不要放行？
如果你也在意豆包、千问、DeepSeek、Kimi 等国内 AI 的回答，同样要确认它们的爬虫和国内访问没有被挡。本工具目前侧重海外 AI 引擎，国内引擎的情况可在诊断中一起排查。
爬虫能访问你了。下一步：看看 AI 回答会不会推荐你。
免费领取 GEO 诊断