2026.09.25 · 周五开源
←返回首页话题 · Topic
#推理优化
共 71 条相关资讯
2026.09.25 · 周五开源
Qwen3.8-27B 两款「减推理 token」微调实测对比
2026.09.24 · 周四行业动态
MiniMax 展示 H3 模型在 AMD 硬件上的推理优化
2026.09.24 · 周四研究论文
LatentPort：无需前缀重放的跨模型循环状态迁移
2026.09.24 · 周四模型发布
Fireworks Research 发布 Ember-1：基于 Kimi K3 的高效推理专用模型
2026.09.23 · 周三工具
TensorSharp 新增结构化决策接口，基于 DiffusionGemma 直接读取 logits
2026.09.15 · 周二行业动态
MiniMax H3 推理再提速：SGL+VDN-H3 在 8 卡 B200 上实现超 2× 实时去噪
2026.09.03 · 周四工具
推理引擎 Lily 针对 Apple 芯片优化 Qwen 部署
2026.08.29 · 周六工具
Qwen Next 模型 ngram 查找表卸载至 SSD 在 SGLang 中引发讨论
2026.08.29 · 周六工具
社区实测：双 DGX Spark 跑 Qwen3-Flash-Next，聚合吞吐达 181 tok/s
2026.08.27 · 周四工具
llama.cpp 新增 --n-cpu-ffn 选项 优化低显存稠密模型推理
2026.08.27 · 周四行业动态
Qwen4Exp 架构解析：n-gram 表如何分担 MoE 负担
2026.08.26 · 周三开源
Netra Runtime 开源 AMD MI350X 推理 kernel，Qwen3.6-35B-A3B 8 卡达 7.8 万 tok/s
2026.08.25 · 周二工具
Llama.cpp 社区分支引入自适应投机解码，推理速度最高提升 50%
2026.08.25 · 周二研究论文
NVIDIA SANA 团队 Sol 引擎将 MiniMax H3 视频推理提速 27.7 倍
2026.08.25 · 周二工具
Junie 本地化：Qwen3.6-27B 推理优化全栈实践
2026.08.23 · 周日工具
Tesla P40 KV 缓存实测：F16 反而比 Q8 更快
2026.08.21 · 周五工具
通义 Qwen 推送 NVFP4 与 DFlash2 推理配置至 SGLang
2026.08.21 · 周五行业动态
AI 推理路由平台 SwiftScale 获腾讯系天使投资，主打模型调用降本
2026.08.21 · 周五工具
Shopify 用 Gisting 压缩 Agent 提示词，吞吐量提升 16%
2026.08.21 · 周五行业动态
Yutori 分享 Web Agent 推理优化：2–5 倍成本优势
2026.08.20 · 周四工具
AirLLM 更新：支持 Qwen3.8-27B 与 Kimi K3，可在 4GB 显存下运行超大规模模型
2026.08.20 · 周四工具
Qwen3.8-27B 在 RTX 3090 上的推理优化：DFlash2 + 查找增强投机解码
2026.08.20 · 周四工具
Ramp 推出模型路由服务 Router，一键聚合 27 款大模型
2026.08.19 · 周三开源
四张 2017 年 V100 跑通 Qwen 3 NVFP4 推理，性能追平 RTX 5090
2026.08.19 · 周三工具
Qwen3.8-27B 在 RTX 3090 单卡推理优化至 124 tps
2026.08.18 · 周二工具
llama.cpp 引入自适应 MTP 模式：动态调整推测解码深度
2026.08.17 · 周一工具
RTX 3090 单卡优化 Qwen3 28B 推理，单请求达 82 tps
2026.08.16 · 周日工具
Apple Silicon 本地推理仍碎片化，vllm-metal 暂时领先
2026.08.16 · 周日开源
单卡 RTX 5090 跑 Qwen3-27B：NVFP4 量化达 880 tok/s
2026.08.15 · 周六研究论文
Dual-Flow Transformer：将预填充与解码计算解耦的新架构
2026.08.13 · 周四工具
DeepSeek V4 Flash 284B 单卡推理实测：drafter 放内存比放显存更快
2026.08.13 · 周四研究论文
MLA 推理提速 13 倍：一个被忽略的矩阵恒等式
2026.08.12 · 周三研究论文
LLM 推理为何应分离 Prefill 与 Decode
2026.08.12 · 周三工具
Frontier.fast 上线：LLM 推理速度优化开放式竞技场
2026.08.12 · 周三工具
v100-skinny 内核让 V100 跑 Qwen3 27B 接近 366 t/s
2026.08.11 · 周二开源
开源项目 Portail：基于 Rust 的 BitNet b1.58 SIMD 推理网关
2026.08.10 · 周一工具
Ling-3.0-flash INT4 在 DGX Spark 上提速近一倍
2026.07.31 · 周五产品功能
OpenAI 大降价：GPT-5.6 Luna 价格低于 Gemini Flash-Lite
2026.07.30 · 周四工具
MindControl for llama.cpp 发布基准测试，推理 token 减半且精度不损
2026.07.30 · 周四模型发布
GPT-5.6 自主重写生产内核，服务成本降 20%
2026.07.30 · 周四行业动态
贾扬清再创业，Intent Lab 展示 Fleet 三大成果
2026.07.30 · 周四研究论文
Together AI 提出 ThunderAgent：智能体推理吞吐提升 2.5 倍
2026.07.30 · 周四行业动态
OpenAI 公布 GPT-5.6 Sol 部署后效率优化成果
2026.07.27 · 周一研究论文
Qwen3.6-27B 投机解码跨量化基准测试：DFlash 综合最快
2026.07.27 · 周一工具
开发者为 V100 适配 SGLang，支持 Qwen 与 Laguna
2026.07.27 · 周一研究论文
AgentKVShift：面向智能体记忆的免训练 KV 缓存复用新方法
2026.07.26 · 周日研究论文
学者提「持续状态机」架构 称 LLM 注意力推理较 RTX 3090 提速逾 2000 倍
2026.07.25 · 周六开源
DKV：面向本地推理的开源 KV-cache 压缩框架
2026.07.25 · 周六工具
BitNet 推理内核优化：单测 29 倍加速，端到端仅 6-10%
2026.07.25 · 周六研究论文
Agent 集群用 40 小时把类 Kimi 模型推理提速 6 倍
2026.07.24 · 周五研究论文
InferenceBench：衡量 AI 智能体优化大模型推理能力的新基准
2026.07.23 · 周四工具
Atomic TurboQuant：面向小量化模型的运行时与 6.4 倍 KV cache 压缩
2026.07.23 · 周四研究论文
Show HN：开发者提出「无自动微分」LLM 引导层概念框架
2026.07.23 · 周四产品功能
Character.ai 技术解析：让用户停留的工程学
2026.07.23 · 周四工具
MindControl：基于 llama.cpp 分支的推理过程注入引导工具
2026.07.11 · 周六工具
Fireworks AI 发布 M3 推理内核：B200 上长上下文稀疏注意力达 980 TFLOP/s
2026.07.08 · 周三工具
DeepSeek V4 Flash 搭配 DSpark 在 H200 上的部署实测
2026.07.08 · 周三工具
法国 ZML 发布跨芯片推理引擎，支持多家 GPU 与 AI 加速器
2026.07.07 · 周二研究论文
BRL 团队在 4 张 B200 上为 Kimi-K2.6 跑出 511.6 tok/s
2026.07.07 · 周二开源
社区推出 ThinkingCap-Qwen3.6-27B 微调版，宣称推理 token 用量大幅压缩
2026.07.07 · 周二开源
ThinkingCap-Qwen3-27B 实验：声称推理 token 减半且精度持平
2026.07.07 · 周二产品功能
SageMaker AI 推出 MLflow 集成，自动流式记录推理基准结果
2026.07.06 · 周一工具
llama.cpp 提交 HIP 构建启用 ffast-math，AMD GPU 推理小幅提速
2026.07.06 · 周一工具
llama-server 跨重启丢 KV 缓存的根因与修复
2026.07.03 · 周五研究论文
ReFreeKV：面向 LLM 推理的无阈值 KV Cache 压缩新方法
2026.07.03 · 周五研究论文
ELDR：面向 PD 分离 MoE 推理的专家局部性感知路由
2026.07.03 · 周五工具
GLM-5.2 128K 推理提速近 60%：vLLM 的 DCP 配置拷贝 bug 被揪出并修复
2026.07.02 · 周四研究论文
VeriCache：用压缩 KV cache 实现无损 LLM 推理
2026.06.29 · 周一研究论文
Qwen3.6-35B 后置 MoE 自适应门控实验发布
2026.06.29 · 周一开源