arXiv 立场论文：评估分数应视为带时效的认知主张

一篇发表于 arXiv 的立场论文指出，当前大语言模型的评估分数在被聚合时可能产生远超其最弱信号可靠性的「信任通胀」，并主张将每一次评估结果视为附带形式等级、适用范围与有效期三类元数据的认知主张。

问题：聚合带来的「信任通胀」

论文观察到，语言模型评估越来越多地组合多种信号，包括自动指标、LLM-as-judge 评分、人工评估以及 benchmark 套件结果。当这些信号通过取均值聚合时，整体评估的置信度可能远超其中最弱信号的实际可靠性，论文将这一现象命名为「trust inflation」（信任通胀）。

评估分数的三个属性

为约束这种通胀，作者提出评估分数应被视作具备以下三项性质的认知主张：

• 形式性（formality）：人工评估所提供的证据强于任何自动指标；
• 适用范围（scope）：benchmark 结果只对其测试分布成立，不应被外推为普适论断；
• 有效期（validity windows）：随着训练数据污染的累积以及数据分布的迁移，benchmark 结果会过期。

弱链聚合的理论支撑

论文援引多条研究脉络——思维链分析（chain-of-thought analysis）、可能性逻辑（possibilistic logic）和代数理论——共同支持弱链聚合（weakest-link aggregation）作为一种保守聚合策略。其核心论点是：弱链聚合是由一个「悲观参数」控制的可参数化算子族的保守端点，调用者可以通过调节该参数表达不同程度的审慎。

HELM 榜单的实证案例

论文以公开的 HELM 榜单作为演示：在 54 个前沿模型、10 个评测场景下，按平均分排序的前五名模型，与按弱链排序得到的前五名完全无交集。这一零重叠的结果说明聚合方式的选择会显著改变「谁更强」的判断。

提议：附带显式元数据

综合上述分析与构建智能体 AI 评测工具的实践教训，作者建议业界在发布评估结果时一并附上三类元数据——形式等级、适用范围声明、有效期——使分数的认识论地位对下游使用者透明，并推动评测实践向更负责任的方向演进。