지난 7월, Moonshot AI가 1조 파라미터 MoE 대규모 모델인 Kimi K2를 직접 오픈소스로 공개했다. 각 토큰에서 32B 파라미터만 활성화된다.
아키텍처 특징
- 총 파라미터: 1조
- 토큰당 활성화: 32B
- 학습 데이터: 약 15.5조 토큰
- 컨텍스트: 128K (이후 256K로 업그레이드)
- 최적화 알고리즘: Muon
코드와 가중치는 Modified MIT License로 공개되어, 최첨단 규모의 오픈소스 모델 중 가장 관대한 라이선스 중 하나다.
성능 수준
오픈소스 비추론(non-thinking) 모델 중에서 K2는 코딩 벤치마크에서 1위를 기록했으며, 여러 작업에서 GPT-4.1 및 Claude Opus 4를 능가했다. 에이전트 능력, 도구 호출, STEM 추론이 강점이다.
두 가지 버전이 제공된다:
- K2-Base: 직접 파인튜닝하려는 연구자용
- K2-Instruct: 일반 대화 및 에이전트 시나리오용, 바로 사용 가능
후속 반복
9월에는 K2-Instruct-0905 버전이 업데이트되어 코딩 작업 성능이 한층 향상되고 컨텍스트 창이 128K에서 256K로 확장되었다.
올해 1월에는 K2.5가 공개되었다. K2-Base를 기반으로 약 15조 개의 혼합 비전 및 텍스트 토큰으로 지속 사전 학습을 진행하여 네이티브 멀티모달을 지원한다. 또한 복잡한 작업을 여러 병렬 하위 작업으로 분해할 수 있는 Agent Swarm 기능도 포함되어 있다.
K2에서 K2.5로 이어지는 반복 속도를 보면 Moonshot AI가 오픈소스 노선에서 매우 공격적으로 움직이고 있음을 알 수 있다. 1조 파라미터 모델을 오픈소스화하는 것은 2년 전만 해도 불가능한 이야기로 여겨졌을 것이다.
출처: Moonshot AI 공식 기술 블로그, CocoLoop, Hugging Face 모델 페이지