Entail：揪出推理引擎「静默吃掉」模型声明的 64 个 Llama 类模型

核心事实

大模型在 Hugging Face 上发布的权重文件通常会在 config 里声明 RoPE base、soft-capping、滑动窗口、chat template 等运行参数。然而在真实部署中，vLLM、SGLang 等主流推理引擎并不总是完整遵循这些声明，部分关键参数会被静默覆盖，导致输出错误却不给出任何警告。开源工具 Entail 通过读取模型文件、检查这些声明是否真正抵达引擎、在可能时进行修复、在无法修复时记录原因，将「模型声明了什么」与「引擎实际运行了什么」之间的鸿沟显式化。

关键发现

在 Hugging Face 下载量前 300 的 LLM 中，有 180 个会接受 vLLM 在启动时传入的 rope_scaling 覆盖参数；其中 64 个模型的 RoPE base 在此过程中被静默改写。开启 Entail 后，180 个模型均保留原始 base。
Llama-3.2-3B-Instruct 在被改写后的 vLLM 0.30 路由下，GSM8K 前 500 题得分从 379 跌至 273；开启 Entail 后恢复至 376。Qwen3-4B-Instruct-2507 在 YaRN 路由下得分从 183 降至 175。
某后端丢弃了 Gemma 2 的 soft-capping，使 500 题中有 198 题答案变化，但 GSM8K 总分仅移动 3 分（p = 0.66），说明评测基准对此类静默错误并不敏感。
在 38 个热门模型、transformers/vLLM/SGLang 三个引擎共 102 次运行中，Entail 未引入任何额外偏差，载入开销中位数仅 0.7%–0.9%。

支持的引擎与检查范围

Entail 通过内部函数 hook 适配各引擎版本，覆盖范围如下：

transformers 5.12.1 / 5.16.1 / 5.17.0：attention backend、tied head、config keys、RoPE 命名、KV cache、chat template。
vLLM 0.30.0：attention backend、loader、repacking 后的权重布局、KV cache、OpenAI server、权重与文件一致性。
SGLang 0.5.20：attention backends、loader、KV cache、server。
diffusers 0.40.0：prediction type、VAE scale、LoRA 适配范围。
ComfyUI 0.34.1：prediction type、VAE scale、LoRA 适配范围及一项引擎特定修复。

典型案例

Llama-3.2-3B-Instruct 按模型卡推荐的方式在启动时重新传入 rope_scaling，transformers 5 会丢失 rope_theta，引擎静默回退至 RoPE base = 10000。Qwen3 dense 模型因 config 已显式填写 1000000 而恰好不受影响；Llama、Qwen3-MoE、Gemma 等并未补齐该值，因此都会触发该问题。被降级的运行结果与显式设置 rope_theta = 10000 完全一致，输出依然流畅，但答案已不正确。

使用方式

安装：pip install entail-ai，与 vLLM、SGLang 或 transformers 部署在同一环境即可，无额外依赖。
开启：设置环境变量 ENTAIL=load，日志写入运行目录下的 entail_logs/，可设为 ENTAIL_LOG_DIR=off 关闭日志，或用 ENTAIL_LOG_DIR=<folder> 转移目录。
自检：entail preflight --model /path/to/model --engine vllm --list 可列出各后端会丢弃的字段，无需 GPU；entail doctor 打印当前已安装的 hook 状态。

Entail 明确划定了边界：它不查找模型本身、编译器、内核或硬件的缺陷；当所有边界均未发现问题但输出仍错误时，它会如实说明并缩小排查范围。