新基准 StatMechBench-v0 评估 AI 智能体发现统计力学结构的能力

一项来自 arXiv 的最新研究提出名为 StatMechBench-v0 的基准，用于评估基于大语言模型（LLM）的 AI 智能体能否在理论物理中完成一项关键技能——将一个新问题转化为已知模型。具体而言，该基准考察智能体能否从原始配分函数出发，自动发现可处理的统计力学映射。

研究背景与动机

理论物理中一项核心能力是识别「新问题能否映射到已知模型」。研究团队将这一能力形式化为 AI 智能体任务：给定一个原始配分函数，LLM 智能体能否在求解过程中自行推导出它所属的可处理类别（如 Ising 型模型中的转移矩阵、可去除规范的无序、平面/Pfaffian 结构等）。

基准设计与任务构成

StatMechBench-v0 包含六个 Ising 型问题，覆盖以下结构类型：

• 转移矩阵方法（transfer-matrix methods）
• 可去除规范的无序（gauge-removable disorder）
• 平面/Pfaffian 结构

研究团队设计了一个简单的「提出—验证—修订」（propose-verify-revise）智能体流程，并在多种 LLM 与多种问题措辞下进行评估。

主要发现

• 数值反馈常常帮助智能体修复代码并恢复正确的配分函数。
• 但智能体也可能在通过数值检查的同时，错误地识别底层可处理类别，或低估计算复杂度。

这表明当前 LLM 在结构性推理上仍存在局限，仅靠数值一致性验证不足以保证结构识别正确。

研究意义与展望

论文指出，未来的验证栈需要在数值一致性之外，引入符号检查（symbolic checks）与结构不变量（structural invariants）等更丰富的校验手段。该研究为面向理论物理结构发现的 AI 智能体提供了早期评估与设计方向。