昨年7月、月之暗面（Moonshot AI）は直接、1兆パラメータのMoE大規模モデル「Kimi K2」をオープンソース化した。各トークンでは32Bパラメータのみが活性化される。
アーキテクチャの特徴
- 総パラメータ数：1兆
- トークンあたりの活性化パラメータ：32B
- 学習データ：約15.5兆トークン
- コンテキストウィンドウ：128K（後に256Kにアップグレード）
- 最適化アルゴリズム：Muon
コードと重みはModified MIT Licenseで公開されており、最先端規模のオープンソースモデルの中でも最も寛容なライセンスの一つとなっている。
性能水準
オープンソースの非推論（non-thinking）モデルの中で、K2はコーディングベンチマークで首位に立ち、複数のタスクでGPT-4.1やClaude Opus 4を上回っている。エージェント能力、ツール呼び出し、STEM推論が強みだ。
2つのバージョンが用意されている：
- K2-Base：自分でファインチューニングしたい研究者向け
- K2-Instruct：汎用対話やエージェントシナリオ向け、すぐに使える
その後の反復
9月にはK2-Instruct-0905バージョンがリリースされ、コーディングタスクの性能がさらに向上し、コンテキストウィンドウが128Kから256Kに拡張された。
今年1月にはK2.5が公開された。K2-Baseをベースに、約15兆の混合ビジョン・テキストトークンを用いて継続事前学習を行い、ネイティブなマルチモーダル対応を実現。また、複雑なタスクを複数の並列サブタスクに分解できるAgent Swarm機能も搭載している。
K2からK2.5への反復速度を見る限り、月之暗面はオープンソース路線で非常に積極的な姿勢を取っている。1兆パラメータのモデルをオープンソース化することは、2年前には夢物語だと思われていただろう。
出典：Moonshot AI公式技術ブログ、CocoLoop、Hugging Faceモデルページ