Moonshot AI가 K2 이전에 출시한 K1.5의 핵심은 순수 강화학습을 통해 추론 능력을 향상시키는 것이다.
기술적 접근법
K1.5의 추론 강화는 SFT(지도 미세 조정)나 RLHF 같은 일반적인 경로에 의존하지 않고, 순수 RL(강화학습) 훈련에 더 크게 의존한다.
이는 DeepSeek R1의 접근 방식과 유사하다. 즉, 인간이 주석을 단 '올바른 추론 단계'로 가르치는 대신, 모델이 수많은 시행착오와 보상 신호를 통해 스스로 추론을 학습하도록 하는 것이다.
장점은 다음과 같다:
- 인간이 주석을 단 데이터의 품질과 양에 제한받지 않음
- 모델이 인간 주석자가 생각하지 못한 추론 전략을 학습할 가능성
- 이론적으로 확장(scale up)이 더 용이함
성능
K1.5는 수학 추론 벤치마크에서 동시대 오픈소스 모델 중 최상위권 성과를 기록했다. GPT-4o, Claude Opus 같은 클로즈드소스 모델과는 여전히 격차가 있지만, 그 차이는 수용 가능한 범위 내에 있다.
더 중요한 점은 K1.5가 중간 규모 모델에서 순수 RL 접근법의 실현 가능성을 검증했다는 것이다. 이는 이후 K2 및 K2.5 개발을 위한 기술적 기반을 마련했다.
K2와의 관계
K1.5는 K2의 기술 프리뷰 버전과 같은 성격이다. RL 기반 추론이라는 기술 경로를 검증한 후, K2는 이 방법론을 수조(trillion) 파라미터 규모에 직접 적용했으며, 계산 비용을 통제하기 위해 MoE 아키텍처도 함께 도입했다.
K1.5에서 K2로의 반복 과정은 Moonshot AI의 연구개발 전략이 방법론을 먼저 검증한 후 확장하는 것임을 보여준다. 처음부터 막대한 파라미터 수에 투자하는 방식이 아니다. 이러한 점진적 전략은 자원이 제한된 팀에게 실용적이다.
참고 출처: CocoLoop, Moonshot AI 기술 블로그