来源：月之暗面 Kimi
犯其至难而图其至远者，发之以勇，守之以专，达之以强。
今天，我们正式推出 Kimi K3，我们迄今能力最强的模型。
Kimi K3 是一个2.8 万亿参数模型，基于 KDA 混合线性注意力机制（Kimi Delta Attention）和注意力残差（Attention Residuals）技术构建，原生支持视觉理解，并拥有100 万 token上下文窗口。它是全球首个开源的3 万亿级别模型，面向长程编程、知识工作和推理等前沿智能场景而设计。
虽然 Kimi K3 的整体表现仍落后于最强的闭源模型 Claude Fable 5 和 GPT-5.6 Sol，但它在我们的整套评测中展现出前沿水平的能力，并稳定超过了其他所有模型。
Kimi K3 的发布只是开始，我们会继续挖掘 K3 模型的潜力，持续提升它在真实任务中的性能表现。
即日起，可通过kimi.com、最新版Kimi 手机App、最新版Kimi Work 桌面客户端、Kimi Code和Kimi API，使用 Kimi K3 模型。当前默认思考强度为 max（极致），后续更新后会增加 low 和 high 两种模式。
我们目前正与推理合作伙伴和开源维护者密切协作，对齐技术细节，确保模型能在整个生态中可靠上线。完整模型权重将于 2026 年 7 月 27 日前发布。关于架构、训练和评测的更多细节，将随 Kimi K3 技术报告一同公布。
3 万亿级开源模型
Kimi K3 是首个达到 2.8 万亿参数规模的开源模型。这是 Kimi 持续推进模型规模边界的最新一步：在过去 12 个月中的 9 个月里，Kimi 模型都保持着开源模型的规模上限。
Kimi K3 基于Kimi Delta Attention（KDA）和Attention Residuals（AttnRes）构建。这两项架构更新，都是为了让信息在更长序列和更深模型中流动得更顺畅。我们也进一步扩大了 Mixture of Experts（MoE）的稀疏度：结合 Stable LatentMoE 框架后，模型可以在 896 个专家中高效激活 16 个。再加上训练方法和数据配方的优化，这些结构性改进让 Kimi K3 相比 K2 的整体扩展效率提升约 2.5 倍，能更有效地把算力转化为能力。
编程
Kimi K3 具备很强的长程编码能力。在极少人工监督的情况下，它可以持续完成长时间工程任务，理解和处理大型代码库，并协调使用终端工具。
Kimi K3 也擅长结合软件工程与视觉推理的任务。它能够利用截图和视觉反馈，优化游戏开发、前端和 CAD 等场景。
下面的案例展示了 Kimi K3 如何将编码能力转化为开放式软件开发和科学研究能力。
■Kernel 优化
我们搭了一个内核优化竞技场，想看 Kimi K3 能不能真正把 GPU 内核从头到尾优化好。每个模型都在自己的 GPU 沙箱里独立运行，任务、测试框架和生产负载完全一致。最多 24 小时内，模型可以分析现有实现、重写内核，并反复跑分验证效果。
竞技场包含两种硬件平台、三类内核、四个任务：在 NVIDIA H200 GPU 上的 Attention Residuals、KDA 线性注意力，一个从零实现的 512 头维度 MLA 内核，以及一个在某国产GPU上的 KDA 任务。在最大思考强度下，Kimi K3 的表现接近 Fable-5（含回退机制），并明显领先 Opus 4.8、GPT-5.6 Sol 和 GPT 5.5。
■GPU 编译器开发
我们进一步测试了 Kimi K3 能否从零构建一套 GPU 编程系统。Kimi K3 开发了 MiniTriton：一款紧凑的类 Triton 编译器。它基于 MLIR 构建了自己的tile级中间表示层，并实现了完整的优化 pass 到 PTX 代码生成流水线。
在其支持的 Roofline 基准测试中，MiniTriton 的性能达到或超越 Triton 和 torch.compile，并在部分工作负载上优于Triton。目前它支持 FP32 和 FP64 计算，TF32 和 BF16 还在开发中。我们并不期待它早期的 Tensor Core 实现能超过已经高度优化的 Triton，但结果说明：在没有针对 benchmark 走捷径、也没有明显硬编码优化的情况下，MiniTriton 已经能生成有竞争力的 GPU 代码。
作为端到端验证，我们用 TensorLite 训练了 nanoGPT，并观察到正常收敛。这说明 Kimi K3 做的不只是生成几个孤立内核，而是搭起了一套真正可用的编译器栈：包括编程抽象、中间表示、优化 pass、后端代码生成，以及接入真实训练负载的能力。
■创作数字作品
Kimi K3 融合强大的 3D 推理、编程与视觉能力，可将概念、图像和视频转化为完全可玩的交互体验。Kimi K3 在代码与实时截图之间无缝迭代，实现真正的视觉闭环（vision in the loop）——即时看见输出，即刻优化。
我们看一些示例：
▼3D 模拟长征十号火箭发射与回收
▼3D 开放世界游戏
▼3D GBA模拟器
▼黑洞卡冈图雅复刻过程
访问网页：https：//blackhole-visualizer.ok.kimi.link/
■ 芯片设计
作为早期概念验证，Kimi K3 设计了一款芯片，用于运行一个基于自身架构构建的 nano 模型。在连续 48 小时的自主 Agent 运行中，K3 基于开源 EDA 工具和 Nangate 45nm 工艺库，独立完成了芯片的构建、优化与验证。该芯片面积 4 mm²，集成 146 万个标准单元、0.277 MB SRAM 以及带融合反量化的 INT4 MAC 阵列，在 100 MHz 下完成时序收敛，仿真解码吞吐持续超过每秒 8，700 个 token。一颗由模型设计、为模型服务的芯片，正是 K3 长程 Agent 能力的写照。
（视频由接入 Blender MCP 的 Kimi K3 模型生成）
■ 科研编程
Kimi K3 可以打通科学文献与可执行代码，自主完成复杂计算研究流程的实现、验证和分析。
在一个案例中，Kimi K3 用约两小时完成了通常需要一名资深研究人员一到两周才能完成的工作。为了复现计算天体物理中的 I-Love-Q 普适关系，它阅读并交叉验证了 20 多篇论文，实现了完整的数值流程，评估了 300 多种状态方程，发现了已发表公式中的不一致之处，生成了 3，000 多行 Python 代码，并产出了一个用于探索结果的交互式 HTML 仪表盘。
知识工作
Kimi K3 推动了端到端知识工作的进展。除了公开基准外，Kimi K3（max）在我们的内部评测中也展现出稳定提升。这些评测来自真实用户与智能体协作流程中反复出现的任务模式和挑战。Kimi K3 在不同生产场景导向的工作流中都表现出一致优势，说明其智能体知识工作能力得到了全面提升。
■ 研究及其可视化
下面是几个例子，展示 Kimi Work 中的 K3 在金融咨询和科研场景中能完成什么。
推理芯片行业研究：覆盖 ASIC 行业 42 年历史，由 K3 经过 120 多轮递归自我改进生成。K3 将证据转化为定制图表、动画示意图和交互式视觉叙事。整个过程中，它完成了 2800 多次网页搜索与抓取、1100 多次终端数据拉取，处理了 87 份季报和 99 份原始 PDF，合计超过 11000 页资料。
查看完整交互式报告https：//asic42cn.ok.kimi.link/
可控核聚变产业研究：这是 K3 制作的一份咨询报告风格的行业研究，包含时间线、树状图、瀑布图、甘特图，以及达到发布质量的演示文稿。
GWTC-5 引力波分析：一次对 391 个引力波事件的分析，使用 20 多个并发 subagents，产出 7 张科学可视化图、2 张表格，并综合了 10 多篇论文的文献内容。
■ 小组件和看板
在 Kimi Work 中，我们推出了两个新功能：小组件（Widgets）和看板（Dashboard），让用户与 Kimi K3 的交互更加可视化，也更具持续性。小组件可以在对话中直接生成交互式组件，并连接本地数据或外部插件，实现持续更新。看板则可以把你最关心的小组件汇总到一个长期保留的个性化视图中，并围绕某个主题、项目或目标进行组织。
■ 视频剪辑
Kimi K3 擅长动效设计、动画和视频剪辑，因为它原生的多模态架构可以在同一个模型中理解文字、图像和视频。
在一个案例中，K3 制作了一支介绍自己架构的‘3Blue1Brown ’风格动态图形讲解视频，把技术概念转化为动画图示和转场，时长 4 分半：
另一个案例中，Kimi K3 用 56 段原始素材剪出了自己的品牌视频，完成了选片、动作匹配剪辑、逐帧卡点、音频处理，以及多轮修改。像这样信息密度很高的短视频，通常需要有经验的剪辑师花 1 到 2 个工作日完成；新手则可能需要 3 到5 天。
架构和基础设施
Kimi K3 基于Kimi Delta Attention（KDA）和Attention Residuals（AttnRes）构建。KDA 为注意力扩展提供了高效基础，AttnRes 则不是简单地在各层均匀累积表示，而是有选择地跨深度检索表示。二者共同构成了 Kimi K3 的架构骨架，使模型能够扩展到万亿参数以上的规模。
Kimi K3 采用Stable LatentMoE，在 896 个专家中实际激活 16 个。在这样的稀疏度下，路由和优化成为关键挑战。Quantile Balancing直接根据路由分数的分位数分配专家，避免启发式更新和敏感的平衡超参数；Per-Head Muon则将 Muon 扩展到按注意力头独立优化，让大规模训练中的学习过程更自适应。Sigmoid Tanh Unit（SiTU）和Gated MLA分别增强激活控制和注意力选择性。这些改进共同支持了 2.8 万亿参数规模下稳定、高效的训练。
Kimi K3 从 SFT 阶段开始采用量化感知训练，使用 MXFP4 权重和 MXFP8 激活，以适配更广泛的硬件。为避免在大规模专家并行中因专家负载不均影响吞吐，我们引入了完全均衡的专家并行训练方法，使用静态形状，并且关键路径上不需要主机同步。由于推理效率同样受益于更大的高带宽通信域，我们建议在 64 个或更多加速器组成的 supernode 配置上部署 Kimi K3。最后，由于 KDA 给传统 prefix caching 带来了新的挑战，我们已向 vLLM 社区贡献了对应实现，并将随模型一同发布。借助带 prefill cache 的 KDA，即使在大模型规模和长上下文条件下，我们也能以很有竞争力的 token 价格提供 Kimi K3 服务。
更多技术细节将在后续技术报告中公布。
开始使用 Kimi K3
使用 Kimi K3 Agents：到手机应用商店搜索下载或升级到最新版 Kimi app，支持 iOS、Android 和鸿蒙系统，或直接访问 kimi.com。
与 Kimi K3 一起工作：下载最新版 Kimi Work 桌面客户端（3.1.0 及以上的版本），支持 Windows 和 Apple 芯片的 Mac 电脑。
用 Kimi K3 辅助编程：Kimi Code 运行在你的电脑终端里，通过 /model 命令选择 K3 模型即可开始体验。
接入 Kimi API 开发应用：访问Kimi API 开放平台，模型选择 kimi-k3，价格为每百万 Token 输入：2 元（命中缓存）和 20 元（未命中缓存），输出：100 元。借助 Mooncake 分离式推理架构，Kimi 官方 API 编程场景的缓存率超过 90%，实际输入价格仅为标准输入价格的 1/4。最高 30% 的充赠活动同步进行中。为员工提供 Kimi 订阅：Kimi 企业版支持企业级数据隐私保护、成员管理，个人账号与企业账号数据完全隔离。点击这里，找到‘开通企业版’按钮，即可在线为员工订阅 Kimi 会员。此外，我们即将面向企业推出托管 Agent 平台：Kimi Hosted Agent，提供 Agent harness、隔离沙箱和长任务运行环境，欢迎加入 Waitlist，第一时间参与测试。
局限性
1． 对历史思考内容敏感： Kimi K3 在后训练过程中全程使用思考历史保留模式，如果 agent 框架未按要求回传全部历史思考内容，或从其他模型正在进行的会话中切换到 Kimi K3，则有可能引发上下文干扰，导致内容生成质量不稳定。建议使用 Kimi Code 等经过兼容性验证的 Agent 框架，并避免在会话中途切换到 Kimi K3。
2． 过于主动：Kimi K3 的训练重点优化了长程、高难任务。因此，在任务执行过程中遇到小问题或用户意图模糊时，它可能会替用户做出非预期的决定。如果你的应用希望 agent 更有边界感、不要过于自由发挥，请在 system prompt 或 AGENTS.md 中对 Kimi K3 施加更明确的行为约束。
3． 尽管 Kimi K3 总体上是一个非常有竞争力的模型，但与 Claude Fable 5 和 GPT-5.6 Sol 相比，在用户体验上仍有一定差距。