AI 评估的可投射性问题：benchmark 推断为何不能直接拼接

近日发表于 arXiv（cs.AI）的论文《When benchmark inferences do not compose: Projectibility in AI evaluation》对 AI 评估链条中的推理合法性提出系统性反思。论文核心论断是：benchmark 结果在多步推理中的「组合」并不自动成立，每一步投射都需要独立验证。

问题提出：单步可信不等于链条可信

论文从 AI benchmark 的典型使用流程出发：一项评测结果往往要经过若干次「投射」才形成有政策或商业意义的结论——从已观察样例泛化到新样本、把分数解读为能力证据、再外推到新任务或新系统、甚至与人类审核、下游影响的假设拼接。传统 validity-centred 方法要求每一步都要有证据，但本文指出一个更深层的认识论问题：相邻投射各自成立，并不自动保证其组合成立。

作者将这一困难归因于「投射性（projectibility）」概念的缺失。当投射链的端点、前提条件、数据或模型谱系发生变化时，表面上独立的支撑证据可能彼此依赖，从而削弱拼接后的整体可信度。

非组合原则与可投射性审计

论文的中心主张是一条「非组合原则」：相邻投射各自得到支持，仅当端点与假设对齐、依赖与不确定性被显式传递时，组合投射才被许可。论文借鉴 Goodman 关于「竞争性投射」的问题以及 argument-based validity 的论证架构，构建出一套「可投射性审计（projectibility audit）」框架，用以诊断 benchmark-to-use 论证中不被支持的拼接环节。

案例与模拟：聚合稳定性掩盖关键差异

• 法律研究案例：论文展示一项 benchmark 证据与一项部署研究可以各自「站得住脚」，却在端点、假设层面互不连通，构成平行的两条证据链而非可拼接的因果链。
• 重分析与模拟：论文通过对已有数据的再分析与人造模拟，论证聚合层面的稳定性如何抹去后续投射所依赖的关键区分。

意义与局限

论文的价值在于把 AI 评测讨论从「分数是否反映能力」推进到「分数如何被合法地串联成行动依据」。对监管者、采购方和研究者而言，这意味着单看一项 benchmark 排行榜是不够的，还需审视其证据链的拼接方式。局限方面，论文以概念论证与少量案例为主，未给出可量化的端到端审计协议；摘要中亦未见具体 benchmark 数据、模型规模或可复现实验脚本，实操落地仍待后续工作验证。

总体而言，这是一篇偏认识论与方法论的学术贡献，对 AI 评测社区内部有意义，但对一般开发者或产品决策的直接参考价值有限。