메타, 8160억 개방형 가중치 Muse Spark Open 공개
메타가 총 8160억 파라미터 MoE 모델 Muse Spark Open의 가중치를 공개했다. 코딩과 에이전트용이며 512GB 맥 스튜디오 두 대로 구동 가능하다고 밝혔다.
MoE 아키텍처 뉴스와 분석
MoE 아키텍처 관련 제품 동향과 산업 분석 6건을 모았습니다.
스텝펀, 6000억 파라미터 Step 5 오픈소스로 공개
스텝펀이 예고대로 Step 5 Preview 가중치를 허깅페이스에 공개했다. 6000억 파라미터 MoE 모델로, FP8 버전은 H200 8장 서버 한 대에서 구동된다.
StepFun Step 5 공개, 비용 8분의1 주장
StepFun의 신규 MoE 모델 Step 5 Preview가 오픈웨이트 모델 중 세계 3위 스코어를 기록했다고 주장하며, 비용은 Claude Opus 5의 8분의 1이라고 밝혔다. 전체 가중치는 10월 15일 공개 예정이다.
Kimi K2.6, HLE 오픈소스 1위 달성
Moonshot AI가 지난주 완전판 Kimi K2.6을 출시했다. HLE-Full에서 54.0점을 기록하며 클로즈드소스 모델인 Claude Opus 4.6과 GPT-5.4를 앞질렀다. 1조 파라미터 MoE 모델로 추론당 32B 파라미터만 활성화되며 최대 300개의 병렬 서브 에이전트를 지원한다.
엔비디아, 네모트론 3 전 제품군 및 학습 데이터 오픈소스화
엔비디아가 네모트론 3 시리즈의 모델 가중치, 3조 토큰 사전 학습 데이터셋, 강화 학습 파이프라인, 평가 도구를 모두 오픈 라이선스로 공개했다.
Mistral, MoE 모델 오픈소스화: 119B 파라미터 중 6.5B만 활성화
Mistral이 Small 4를 출시했습니다. MoE 아키텍처를 사용해 세 개의 독립 모델을 하나로 통합, 텍스트 추론, 이미지 이해, 코드 생성, 함수 호출, JSON 출력을 256K 컨텍스트 윈도우로 지원하는 단일 배포를 구현했습니다.