先看防盗链规则误伤AI爬虫抓图前要留意哪一步

误解一：防盗链只拦“盗图者”，跟爬虫无关

不少站点在配置防盗链时，默认把“来自其他域名的图片请求”一律当成盗用行为，认为只要规则生效，受损的只有盗图站点。实际情况是，AI 爬虫抓取图片时的请求头特征并不统一，有的会携带 Referer，有的干脆不带，有的 Referer 指向搜索引擎或模型训练平台的域名。如果防盗链规则只按“Referer 不在白名单就拒绝”来判断，这类正常的抓取请求同样会被挡在门外。

换句话说，防盗链拦的是“请求来源不符合预期”，而不是“请求目的不正当”。把这两件事画等号，是误伤 AI 爬虫抓图的起点。

误解二：白名单加满就安全，漏掉空 Referer 也无妨

常见的配置思路是把自家域名、合作站点、搜索引擎域名逐个加进白名单，觉得覆盖面够了。但 AI 爬虫抓图时，空 Referer 的请求占比并不低，尤其是一些以训练数据采集为目的的抓取行为。若规则里对空 Referer 直接拒绝，这部分请求就会失败；若对空 Referer 直接放行，又等于给盗链留了口子。

这里的正确理解不是“放行或拒绝”二选一，而是先区分空 Referer 请求的 User-Agent 特征与访问频率，再决定是统一处理还是分桶处理。双知科技在梳理这类规则时，通常建议把“来源判断”和“身份判断”拆成两层，而不是压在一条件件里。

误解三：误伤只是抓不到图，影响有限

抓图失败看起来只是少了几张图片，但对依赖图片内容做多模态训练或检索增强的场景来说，缺图会直接改变数据分布。更麻烦的是，这种失败往往是静默的：爬虫收到 403 后不一定报错，可能只是跳过该资源继续抓取，站点侧也看不到明显异常。

等到发现某个图片目录的抓取覆盖率偏低时，排查方向常常先落在网络、限速、robots 上，防盗链反而排在后面。

先看防盗链规则，再谈其他环节，这一步的顺序本身就值得留意。

正确理解：规则要能区分“谁在抓”和“从哪来”

防盗链规则误伤 AI 爬虫抓图，核心不在于规则太严，而在于判断维度太单一。合理的做法是让规则同时参考 Referer、User-Agent、请求频率和资源类型，对图片这类静态资源设置更细的分支。比如对已知的 AI 爬虫 UA 段做单独标记，对高频抓取同一目录的请求做限速而非直接拒绝，对空 Referer 请求结合 IP 归属和访问路径做二次判断。

这些调整不需要推翻原有防盗链体系，只是把“一刀切”换成“分层过滤”。规则越能表达差异，误伤面就越小。

正确理解：白名单之外，还要留观察窗口

很多误伤是在规则上线后一段时间才暴露的，因为爬虫抓取有周期，站点日志也有延迟。比较稳妥的做法是给新规则留一个观察窗口：先以日志模式记录“本应被拦截”的请求，观察其中是否包含 AI 爬虫特征，再决定是否真正启用拦截。

这个窗口不是拖延，而是让规则在生效前先积累判断依据。没有观察期的防盗链调整，等于把线上流量当测试环境。

正确理解：误伤和放行要一起评估

讨论防盗链规则时，容易只盯着“有没有误伤”，却忽略“有没有放过”。对 AI 爬虫抓图放行过多，可能带来带宽压力和资源被批量拉取的风险；放行过少，又影响正常抓取。两个方向要放在同一张表里评估，而不是单看一边。

规则的目标不是零误伤，也不是零放行，而是让误伤和放行都落在可解释、可回溯的范围内。能做到这一点的规则，才算把“先看哪一步”想清楚了。

如果连请求来源和请求身份都还没分开看，又怎么能判断这条防盗链规则到底拦对了没有？