上线前漏配AI爬虫UA识别清单会让日志一片空白

上线当天日志一片空白，运维第一反应往往是服务挂了。但排查下去，问题常常出在一个更靠前的环节：AI爬虫的User-Agent识别清单没有配。请求其实来过，只是系统没认出来，日志里什么都没留下。

这件事之所以反复出现，是因为它横跨三方：服务方管配置、平台管规则、客户管确认。任何一方默认”对方会处理”，缺口就留在那里。下面按分工边界拆开说。

服务方：清单的配置与维护归你

AI爬虫UA识别清单本质是一份匹配规则集合，服务方负责把它落到采集链路里。具体包括：确认哪些UA字符串需要被识别为AI爬虫，把它们写进日志采集或网关的识别规则，并保证规则生效后请求能被打上标签、写进日志。

这一步没有替代方案。平台不会替服务方配规则，客户也不掌握采集层的权限。清单漏配，等于采集入口对AI爬虫关闭，后续所有分析都建立在残缺数据上。

维护同样是服务方的活。AI爬虫的UA会变，新厂商会进场，旧字符串可能调整。清单不是配一次就结束的静态文件，需要有定期复核的机制。

平台：规则与口径的提供方

平台侧负责的是”识别什么”这个问题。各AI厂商的爬虫标识由平台方发布和更新，服务方拿到的清单来源应当是可追溯的官方口径，而不是二手整理的猜测版本。

同时，平台对爬虫行为的说明（是否遵守robots、抓取频率、渲染方式）也影响识别策略的设计。比如某些爬虫不执行JavaScript，日志里看到的请求特征就和普通浏览器不同，识别逻辑要相应调整。

平台不负责替谁配置，但它决定了配置的依据是否可靠。清单来源模糊，后面配得再整齐也可能是错的。

客户：确认覆盖范围与验收标准

客户这一环常被忽略。客户不需要懂UA字符串怎么写，但需要明确两件事：哪些AI入口对自己有业务意义，以及上线前用什么标准验收”日志确实记到了”。

验收标准可以很简单：上线后发起一次已知AI爬虫的访问，确认日志里有对应记录和标签。这个动作归客户提，服务方执行，双方对结果签字。

没有验收标准，配置是否生效就只能靠猜。而日志空白这件事，恰恰是最不容易被主动发现的——空白不会报警。

几个常被问到的问题

问：清单配了但还是没日志，是谁的问题？
先看请求有没有到达网关，再看识别规则是否命中。前者归平台和网络链路，后者归服务方的配置。分段排查比互相推责快。

问：客户能不能自己维护清单？
一般不建议。清单在采集层生效，客户没有这层权限。客户能做的是提出覆盖需求和验收，配置仍归服务方。

问：UA识别和robots协议是一回事吗？
不是。robots是告诉爬虫能不能抓，UA识别是让服务方知道自己被谁抓了。两者解决不同问题，不能互相替代。

问：清单要不要包含非主流AI爬虫？
取决于业务判断。覆盖越全，日志越完整，维护成本也越高。这个取舍由客户定范围，服务方评估可行性。

边界清楚，排查才不绕路

三方分工说清之后，责任边界就落在具体动作上：平台给依据，服务方配规则并维护，客户定范围和验收。双知GEO在实践中看到的漏配情形，多数不是技术难度问题，而是某一环默认别人会做。

把”谁配、谁验、谁维护”写进上线检查项，比事后对着空白日志猜原因要省事得多。

上线前多问一句清单配了吗，真的很难吗？