公开网站对 AI 爬虫的设置
Markdown 索引我们检测了一批公开网站，只陈述可以核实的事实：它的 robots.txt 对各类 AI 爬虫写了什么、不执行 JavaScript 时 AI 能读到多少正文。每个站点只展示一次检测的快照，不打分、不排名。
白皮书 · 置顶我们检测了 92 个公开网站：有多少被 AI 爬虫拒之门外？robots.txt 层面几乎没有，真正的门槛是 JavaScript、读取位置和结构化数据。允许禁止部分放行无法判断
初创与 SaaS
www.getui.com10 月 30 日
没有为 AI 爬虫单独设置规则，按通用规则全部放行。
www.growingio.com10 月 30 日
没有禁止任何主流 AI 爬虫，搜索、训练和用户触发类爬虫均被放行。
www.sensorsdata.cn10 月 30 日
没有为 AI 爬虫单独设置规则，按通用规则全部放行。
www.xiaoshouyi.com10 月 30 日
没有为 AI 爬虫单独设置规则，按通用规则全部放行。
www.fxiaoke.com10 月 30 日
没有为 AI 爬虫单独设置规则，按通用规则全部放行。
技术社区
learnku.com10 月 30 日
没有为 AI 爬虫单独设置规则，按通用规则全部放行。
新闻媒体
sspai.com10 月 29 日
没有为 AI 爬虫单独设置规则，按通用规则全部放行。
开发者文档
docs.pingcap.com10 月 30 日
没有为 AI 爬虫单独设置规则，按通用规则全部放行。
知识库
wiki.mbalib.com10 月 29 日
没有禁止任何主流 AI 爬虫，搜索、训练和用户触发类爬虫均被放行。
办公与工具
www.processon.com10 月 29 日
没有为 AI 爬虫单独设置规则，按通用规则全部放行。
shimo.im10 月 29 日
没有禁止任何主流 AI 爬虫，搜索、训练和用户触发类爬虫均被放行。
云与开发者服务
www.upyun.com10 月 29 日
没有为 AI 爬虫单独设置规则，按通用规则全部放行。
想知道你自己的网站是什么情况？输入网址，做一次检测。
如发现信息有误或希望撤下某个站点的报告，请通过抓取说明页里的联系方式告诉我们。 · Markdown 全集切块