预测智能体何时该推理？arXiv 新研究提出可靠性路由机制

预测智能体（forecasting agent）通常会组合大语言模型推理、信息检索、集成学习和校准等能力，但在不同预测任务中，何种行为更可靠却长期缺乏系统答案。arXiv 上的一项新研究围绕这一空白展开，并提出名为 ReliabilityRoute 的结构性干预方法，用以按证据源特征动态选择推理策略。

研究背景

论文聚焦 ForecastBench 风格的二元预测（binary forecasting）任务，将"是否检索、是否启用额外推理、是否套用市场先验、是否使用历史类比"视为智能体可观测的行为选项，而非隐藏的实现细节。研究的核心问题是：在什么条件下，哪种行为路径应当被信任。

ReliabilityRoute 方法

作者引入 ReliabilityRoute 框架，把上述行为选择抽象成一道"路由"决策，依据六类可靠性特征进行判断：

• 历史覆盖率（historical coverage）
• 市场先验是否可得（market-prior availability）
• 来源先验的尖锐度（source-prior sharpness）
• 证据强度（evidence strength）
• 证据分歧度（evidence disagreement）
• 预测时间跨度（horizon）

框架包含两套规则：一套是用 2024 年数据拟合的固定规则，在不硬编码具体来源名称的前提下，与人工分类法结果接近；另一套是走步前进（walk-forward）的自适应规则，每期根据已结算的历史样本重新校准阈值。

实验发现

研究在覆盖 16 个 LLM 时间窗口的后续样本上对多套确定性系统进行了对比。关键发现包括：

• 机制选择具有来源依赖性：对部分数据生成过程，结构化类比（structured analog）占优；而对另一些来源，市场/群体类基线与保守基线更有效。
• 自适应规则在 Brier 分数上表现最佳：走步前进的自适应阈值在 16 个 LLM 时间窗口中取得最高的平均 Brier 分数。
• 优势幅度有限：历史与搜索类基线仍具强竞争力，"更多推理"并不总带来更好结果。

意义与局限

论文强调其贡献更偏向"行为压力测试"（behavioral stress test）层面的方法论：智能体应先估计哪条证据源值得主导决策，路由策略本身也需要在可审计约束下自适应调整。不过，该方法在 16 个时间窗口上的提升属于"温和"范畴，研究者也提示历史与搜索基线仍是强力对手。

作者已在 GitHub 公开复现工件，仓库地址为 https://github.com/louiswang524/forcastagent ，供研究者验证与扩展。