2.8 万亿参数是怎么训得动的

参数堆到 2.8 万亿，麻烦也跟着来：模型这么大，训练时信息要能顺畅传到每个角落，用的时候算力账要算得过来，不然就是一个跑不动也用不起的巨无霸。K3 在结构上做了三处改动来解决这个问题。

第一处是 KDA（Kimi Delta Attention）。注意力机制是模型阅读文本的方式，文本越长，普通注意力的计算量涨得越快。KDA 是一套更省算力的注意力底座，有了它，100 万 token 的超长内容才读得动、算得起。第二处是注意力残差（Attention Residuals，简称 AttnRes）。K3 这种模型内部有很多层，过去的做法是每一层都把前面所有层的信息平均地往上传，层数一多，早期的关键信息传到后面就被稀释了。注意力残差把它改成按需取用：高层需要哪一层的信息，就直接回去拿哪一层的，不用层层转手。

第三处是稀疏专家。你可以把 K3 的主体想成 896 个各有专长的小模型，行话叫「专家」，框架名叫 Stable LatentMoE。每处理一个 token，K3 只挑其中最对口的 16 个专家来干活，剩下 880 个都在休息。这就是 2.8 万亿参数还能正常提供服务的原因：参数总量虽然大，但任何一个时刻真正在计算的只有一小部分。

一口气干 24 小时到 48 小时的代码活

K3 主打的能力是长时间连续写代码：不怎么需要人盯着，自己读懂大型代码仓库、操作终端工具，一口气干很多个小时。Kimi 拿了四个案例来证明这件事，一个比一个时间长。

24 小时优化 GPU kernel

第一个案例是优化 GPU kernel，也就是跑在显卡上的核心计算程序，它快一点慢一点，直接决定训练和推理的成本。测试方法是把每个参赛模型单独关进一模一样的沙盒环境，给最长 24 小时，让它们自己做性能分析、改写代码、跑基准测试，一共四个任务，硬件是 NVIDIA H200 加另一家厂商的通用 GPU。结果是 K3 和 Claude Fable 5 打成平手，比 Opus 4.8、GPT 5.6 Sol 和 GPT 5.5 都高出一截。有两个测试条件需要知道：Fable 5 的成绩是第三方跑的，里面可能混着它拒答后由别的模型接手的情况；另外多数模型的部分做法里有些小的精度取巧，但都在允许的误差范围内。

还有一个开发过程里的细节：K3 做到后期，团队自己的大部分 kernel 优化工作，就是交给 K3 的早期版本干的。

从零写出一个 GPU 编译器

第二个案例难度再上一级：让 K3 从零写一套 GPU 编程系统。它做出了 MiniTriton，一个小型编译器，对标业界常用的 Triton。从前端语言、中间表示、优化环节，到最后生成显卡能执行的 PTX 代码，整条链路都是它自己搭的。在支持的基准测试里，MiniTriton 的性能和 Triton、torch.compile 打平或更好，个别任务还反超了 Triton。拿它去支撑一个 nanoGPT 模型的完整训练，损失曲线基本贴着参考实现走，说明这条从零写出来的编译链在真实任务上是能用的。

MiniTriton 在 NVIDIA L20 上的 roofline 基准：从零写的编译器已经能和 Triton 的成熟栈掰手腕。来源：Kimi 官方博客

48 小时给自己设计一块芯片

第三个案例是给 AI 模型设计一块芯片。K3 连续自主跑了 48 小时，用开源的芯片设计工具（EDA）和 Nangate 45nm 工艺库，把一块芯片从设计、优化一路做到验证。这块芯片是为一个迷你模型服务的，而那个迷你模型用的还是 K3 自家的架构，等于模型给自己的同类设计了硬件。这目前只是概念验证，不过几个关键数字都是实打实跑出来的：

2 小时干完研究员 1 到 2 周的活

第四个案例是干科研的活：复现计算天体物理里一个叫 I-Love-Q 普适关系的经典结果，那是一组描述中子星几个性质之间固定关系的公式，验证它得读大量文献、写完整的数值计算程序。K3 自己读了 20 多篇论文互相印证，把完整的数值计算管线写出来，算了 300 多个状态方程，中途还发现了几处已发表公式里的不一致，总共写了 3000 多行 Python 代码，最后交付一个能点着玩的网页结果面板（在线看成品）。这套活让有经验的研究员来做，通常要一到两周；K3 花了大约两个小时。

9 个能直接玩的 3D demo

游戏和 3D 是最能直观感受 K3 能力的地方。它能从一个想法、一张图片或一段视频出发，直接做出能上手玩的 3D 作品。做到这一点靠的是把截图当眼睛用：代码写完自己跑起来，自己截一张屏看看效果对不对，从图里找出毛病，再回去改代码，来回循环，直到看着满意为止。

下面 9 个 demo 全部出自 K3，每个都有在线可玩版本，链接在图注里。

从行业研报到自剪宣传片

除了写代码，K3 的另一半主打是知识工作，也就是查资料、写研报、做 PPT、剪视频这类日常工作。除了公开基准，Kimi 还拿一套内部评测来证明这部分能力，题目取自真实用户平时让 AI 干的那些活。要注意这套评测是自家出题自家判卷，参考着看就好。

内部知识工作基准：K3（max）在各项生产型任务上稳定领先。自评口径。来源：Kimi 官方博客

把 42 年行业史做成一个可下钻的网站

分量最重的案例，是一份讲芯片行业（ASIC）42 年历史的研究报告。成品直接是一个能逐层点开细看的互动网站（在线看成品），里面的图表、动画示意和叙事页面都是 K3 根据查到的证据现做的，前后自我修改了 120 多轮。查资料的工作量是这样的：

用同样的方法，K3 还做了另外两份成品。一份是核聚变行业的咨询风格研报，时间轴、漏斗图、区间条形图、甘特图都在里面。另一份是天文数据分析：它同时开了 20 多个子 Agent 并行干活，把 391 个引力波事件全部过了一遍，产出 7 张科学图表、2 张数据表，还附上一份综合了 10 多篇论文的文献综述。两份成品都嵌在下面，可以直接翻页看：

核聚变行业研报的首页（共 16 页）。点这张图可以去官方查看器整套翻页看。来源：Kimi 官方博客

引力波分析报告的首页（共 11 页）。点这张图可以去官方查看器整套翻页看。来源：Kimi 官方博客

信息图风格的演示文稿也是强项，例子给了两个：一份可全文编辑的热力图，一份年度阅读报告。

Widgets 和 Dashboard：聊出来的组件常驻成一页

随 K3 一起，Kimi Work 还上了两个新功能。一个叫 Widgets：你在聊天里让它做一个数据卡片、进度表之类的小组件，这个组件是活的，能连上本地数据或外部插件持续刷新。另一个叫 Dashboard：把你关心的一堆小组件收进一个固定页面，围绕某个项目或目标常驻展示，相当于聊着聊着就攒出一个自己的仪表盘。

视频剪辑：56 段素材自己剪成宣传片

视频剪辑是这次一个比较意外的强项。原因是 K3 的多模态是原生的：文字、图片、视频都在同一个模型里理解，不需要外挂别的模型帮它看画面。第一个例子，K3 给自己的架构做了一支 3Blue1Brown 风格（就是那个数学科普频道的动画演示风格）的讲解视频：

第二个例子，K3 拿 56 段原始素材，自己给自己剪了一支宣传片：挑哪几段能用、在哪个动作点上切镜头、画面怎么逐帧卡上音乐节拍、声音怎么处理，全流程自己来，中间还自己改了好几轮。作为参照：这种密度的短片，熟手剪辑师通常要一到两个工作日，新手要三到五天。

31 项跑分：哪里第一，哪里还差着

这次的基准对比一共 31 项，对手是 Claude Fable 5、GPT 5.6 Sol、Claude Opus 4.8、GPT 5.5 和 GLM-5.2。把整张表读下来，格局是清楚的：凡是考「连续干活时间长、步骤多」的测试，K3 经常排第一；考深度推理和精细视觉理解的，它和最强的闭源模型还有肉眼可见的差距。

官方基准对比总览。来源：Kimi 官方博客

看这张表之前，有三个测试条件先交代清楚。第一，K3 的所有成绩都是在最高推理档（max）跑出来的。第二，不同模型跑在不同的运行环境里（KimiCode、Claude Code、Codex 三选一，按基准分配），一部分对手取的是它表现最好的那个环境的成绩。第三，PostTrain Bench 这一项里，Claude Fable 5 遇到使用政策不让做的请求时，会自动换成 Opus 4.8 接着干，表里的成绩包含这部分。完整 31 项成绩和 15 条脚注都在原文表格里。

第三方测出来什么样

发布当天，独立评测机构 Artificial Analysis 就放出了第一轮测试结果，各家科技媒体的报道也跟着来了。总体印象和 Kimi 的自评差不多：确实挤进了第一梯队，但也测出了一个自评里没有的问题。

这轮独立测试和官方口径能互相印证：GDPval 复测出的 Elo 就是官方表格里那个 1668 分。评语也和官方叙事一致，K3 各方面均衡，分析质量接近 Claude Fable 5 的水平，演示文稿的观感则仍是 GPT 5.6 Sol 领先。

媒体报道集中在两个角度。一是开源追平前沿这件事本身：Axios 引用 Mozilla 首席技术官 Raffi Krikorian 的看法，美国的 AI 实验室对这类开放权重模型「明显在担心」，否则犯不上去华盛顿游说限制它们；VentureBeat 称它是迄今体量最大的开源模型，直逼美国顶级系统。二是价格：The Decoder 把标题直接写成「超便宜中国 AI 时代的落幕」，K3 的定价比自家上代贵出三倍多。

价格、入口和开源节奏

想现在就用 K3，今天有五个入口全部开放；想拿权重自己部署，要等 7 月 27 日之前的开源放出。API 的价格已经完全公开：

• App / 网页：应用商店更新到最新版 Kimi（iOS、Android、HarmonyOS），或直接上 kimi.com
• Kimi Work：桌面版 3.1.0 起（Windows 和 Apple silicon Mac）
• Kimi Code：终端里跑 Kimi Code，/model 命令选 Kimi K3
• API：platform.kimi.ai 选 kimi-k3
• 企业版：企业级数据隔离和成员管理，个人与组织账户完全分开

这个价格是贵了还是便宜了

先跟自家上代比：确实是实打实的涨价。上代 K2.6 的官方价是输入未命中 $0.95、输出 $4.00，K3 分别涨到 $3.00 和 $15.00，涨了两到三倍。干同样的活它省一些 token（同一批评测的输出量比 K2.6 少 21%），但省的远赶不上涨的，单个任务的花费还是更高了。

再跟闭源对手比，这个价又不算贵：和 Claude Sonnet 5 一模一样，输入价是 GPT 5.6 Sol 的六成、输出价是它的一半，比 Claude Opus 4.8 和 Claude Fable 5 便宜得多。Artificial Analysis 按实际跑任务算过一笔账：K3 平均每个任务花 $0.94，和 GPT 5.6 Sol 的 $1.04 基本持平，约为 Opus 4.8（$1.80）的一半；不过比 GLM-5.2（$0.32）、DeepSeek V4 Pro（$0.04）这些开源同行贵出一大截。

单位：美元每百万 token。数据来自各家官方定价页（The Decoder 汇总）；Anthropic 两款的缓存命中价按其缓存读取 0.1 倍规则折算。

打算等权重放出后自己部署的，这里有几条实际信息。模型从微调阶段起就按低精度训练（MXFP4 权重配 MXFP8 激活），好处是放出来的权重天生适配更多硬件，不用自己再做一轮量化。部署规模上，推荐用 64 个以上加速器组成的超节点，通信带宽够大才能发挥它的稀疏结构。还有一个生态动作：KDA 这种新注意力结构，和现在大家部署模型常用的开源推理框架 vLLM 的缓存机制配合不好，Kimi 把适配实现直接贡献给了 vLLM 社区，会随模型一起放出。这一段也顺带解释了为什么 2.8 万亿参数还能卖前面那个价：KDA 加上预填充缓存，把服务成本压了下来。

用之前要知道的三条短板

K3 有三条已知短板，都直接影响使用体验，值得原样记下来。

这次月之暗面把开源模型的规模第一次推到 3 万亿级：Kimi K3 有 2.8 万亿参数（参数就是模型内部的「旋钮」，越多通常越强、也越难训），还能直接看图、一次读上百万字。它在一批考「连续干很久的活」的测试里拿了第一，整体逼近最强闭源但还没追平；App、网页、API（给程序调用的接口）今天全开，权重 7 月 27 日前公开。

但这里冒出一个大麻烦：2.8 万亿参数是个天文数字，这么大的模型，凭什么训得动、还能按普通价格给几百万人用？

K3 靠三处结构改动，才把 2.8 万亿参数训得动、用得起：KDA（让上百万字的超长文本也算得起）、注意力残差（让关键信息在很深的网络里不被层层稀释），还有最好懂的一招，把模型拆成一屋子专家，每次只叫醒一小撮。下图就是这一招：

「快 N 倍」听着没感觉，换成同一件活要花多久就懂了。Kimi 官方给的一个案例：复现一项天体物理经典研究（读 20 多篇论文、算 300 多个方程、写 3000 多行代码），有经验的研究员通常要一到两周，K3 大约两小时干完。