研究论文8 小时快讯 · 2026.06.25 18:31
新采样器+验证器让小模型编程性能暴增
Backtrack 采样器+验证器使 0.5b 模型编程达 2/3b 水平，但需双倍 VRAM 和额外训练
2026.06.25 · 周四约 1 分钟阅读评分 85
关键技术
一种新的回溯采样器（backtrack sampler）配合小型验证器（verifier），无需改变模型权重即可大幅提升 0.5b 小模型的编程能力，理论性能可匹敌 2/3b 级别模型。对于大模型，该方法预计可减少 30-50%的幻觉问题。
限制与代价
- 推理速度：回溯机制导致 5-30%的解码速度损失，模型需在出错时回溯重生成。
- 资源需求：验证器大小需与原模型相当，导致 VRAM 需求翻倍，内存带宽占用增加。
- 部署可行性：该方法暂不支持 vLLM 或 SGLang，但有望集成到 llama.cpp 中（类似
--top-n-sigma参数）。