Kimi K3 开源:中国大模型继续主导开源生态
月之暗面开源 2.8 万亿参数 Kimi K3,登顶 Hugging Face 趋势榜首,或重塑开源与闭源竞争格局。
月之暗面(Moonshot AI)近日开源了新一代大模型 Kimi K3,总参数量达到 2.8 万亿,激活参数约 104B,上下文长度由上一代的 128K 扩展至 1M,是目前全球参数规模最大的开源权重模型。模型上线 Hugging Face 后 30 分钟内即以超过 4000 个赞登顶趋势榜,Hugging Face CEO Clem Delangue 称其为「迄今为止最快的发布增长速度」。
架构层面的两项底层改造
K3 能够把参数量推到 2.8 万亿,并在相同算力下获得约 2.5 倍的扩展效率提升,关键在于两项架构创新:
- KDA(Kimi Delta Attention):一种混合线性注意力机制,可将不断增长的 KV Cache 压缩进固定大小的矩阵状态,从而缓解长上下文带来的显存与算力压力。
- Attention Residuals(注意力残差):用于减少训练过程中的信息衰减与梯度消失,让深层网络中的信息流更顺畅。
配套技术还包括 Stable LatentMoE(稳定隐空间混合专家系统)、底层通信库 MoonEP,以及高性能算子 FlashKDA,分别针对推理计算成本、通信吞吐与计算效率进行优化。
对闭源 API 定价权的直接冲击
据 AI 大模型研发者对界面新闻的分析,K3 开源更直接的影响落在商业层面:更低的使用成本叠加持续缩小的能力差距,使中国开源模型正在动摇 OpenAI、Anthropic 等闭源厂商对 API 定价权的主导。Kimi 在官方介绍中表示,K3 整体表现仍落后于最强的闭源模型,但已稳定超过其他主流模型。
围绕「继续拉高参数是否还有意义」的争论,业界观点趋于一致:模型厂商要留在牌桌上,除了继续 Scaling Up 几乎别无选择,RL 等后训练手段目前更多是「雕花」,基座模型能力决定了后训练的起点。
中国厂商集体跟进 2T+ 规模
中国厂商正密集布局 2 万亿参数以上的模型:
- 阿里于 7 月 19 日发布 Qwen3.8 Max 预览版,参数量达 2.4 万亿,为多模态模型。
- 月之暗面与 MiniMax 据报道均在推进 2.7 万亿级新一代大语言模型。
- 百度文心 5.0 同样为 2.4T 参数,但因激活参数比例不足 3%、且采用闭源策略,未能激起同等规模的开发者讨论。
「基础模型开源、旗舰模型闭源」的协同路线虽有助于商业转化,但也意味着失去极客群体对其架构的二次分析与传播声量。
算力紧缺成为现实瓶颈
更大的参数规模带来更重的算力负担:
- 仅部署 K3 便需要一台 8 卡 B300 服务器;
- 训练则需要顶级 AI 显卡的万卡级集群;
- K3 上线次日,Kimi 即发出算力紧缺提示并暂停会员开放。
据智算中心与云厂商人士透露,目前国内算力已被头部大厂锁定,创业公司购买能力相对滞后;某云厂商前两大客户分别为头部硬件大厂和互联网大厂,其他模型厂商合计月流水占比不及其中一家,顶级显卡订单交付延迟普遍存在。
开源大势难以阻挡
Kimi K3 开源几乎同一周,黄仁勋联合微软、Meta、IBM、英特尔等 25 家科技巨头发表公开信支持开源生态,OpenAI 与谷歌随后补签加入。Anthropic CEO Dario Amodei 也公开声明称公司「从未主张禁止开放权重模型」。
技术普惠层面的趋势愈发明确,但对企业而言,全员开源也意味着在用户面前更加透明,突破与生存并不会比今天更容易。
