Kimi K2开源了一个万亿参数的MoE模型,国产开源卷出新高度
去年7月,月之暗面直接开源了Kimi K2——一个万亿参数的MoE大模型,每个token只激活32B参数。 架构亮点 总参数:1万亿 每token激活:32B 训练数据:约15.5万亿token 上下文:128K(后续升级到256K) 优化
共 3 篇文章
去年7月,月之暗面直接开源了Kimi K2——一个万亿参数的MoE大模型,每个token只激活32B参数。 架构亮点 总参数:1万亿 每token激活:32B 训练数据:约15.5万亿token 上下文:128K(后续升级到256K) 优化
今年1月27号,月之暗面发布了Kimi K2.5——在K2的基础上加了原生多模态和Agent Swarm功能。 Agent Swarm是什么核心概念:把一个复杂任务拆解成多个子任务,每个子任务分配给一个独立的agent并行执行。 举个例子—
月之暗面在K2之前发布的K1.5,核心看点是用纯强化学习来提升推理能力。 技术路线K1.5的推理增强不是靠SFT(监督微调)或RLHF的常规路线,而是更加依赖纯RL(强化学习)训练。 这和DeepSeek R1的思路类似——让模型通过大量的