메타, 8160억 개방형 가중치 Muse Spark Open 공개

메타는 10월 15일 Muse Spark Open의 가중치를 공개했다. 모델은 허깅페이스에 올라 있으며 Muse Model License로 배포된다. Muse Spark 시리즈에서 가중치를 공개한 것은 이번이 처음이다. 총 파라미터는 8160억 개, 토큰당 활성 파라미터는 420억 개이고, 컨텍스트 윈도우는 100만 토큰이며 이미지, 오디오, 오디오·비디오 입력을 기본 지원한다. 메타는 파이토치 공식 블로그에서 이 모델을 "the most capable US open-weight model to date"(지금까지 미국에서 나온 가장 뛰어난 개방형 가중치 모델)라고 소개했다.

개방형 버전은 같은 날 배포된 Muse Spark 1.3과 같은 기본 모델을 쓰며, 차이는 후속 학습에 있다. 개방형에는 안전성 후속 학습이 한 차례 더 들어갔고, 메타는 시스템 차원의 보호 장치 없이 단독으로 배포돼도 오용하기 더 어렵게 만들었다고 설명한다. 메타 자체의 Superintelligence Scaling Framework 기준으로 평가한 결과 공개 기준을 충족했다고 한다. 다만 전체 평가 보고서는 아직 나오지 않았고, 공식적으로는 "곧 공개"라고만 밝혔다.

코딩과 에이전트에 집중

메타가 잡은 포지셔닝은 좁다. 코딩과 에이전트 작업이다. 학습 데이터에는 여러 파일에 걸친 리팩터링, 디버깅 세션, 장시간 실행 작업이 들어 있고, 공식 설명은 첫 시도의 정확도와 도구 호출의 안정성을 강조한다. 에이전트 쪽에서는 여러 웹사이트를 넘나드는 긴 작업을 수행하도록 학습했으며, 하위 에이전트를 만들어 작업을 나눌 수 있다. 데스크톱, 휴대전화, 브라우저에서의 컴퓨터 조작도 하나로 통합해 학습했다. 행동에 나서기 전에 무엇을 할 계획인지 설명하는 글을 따로 출력하기도 한다.

메타 연구 블로그에는 Key Benchmarks 항목이 있지만 본문에는 점수가 하나도 적혀 있지 않아, 제3자 벤치마크 결과를 기다려야 한다. Arena는 이미 이 모델을 Agent Arena에 올렸으나 점수는 아직 공개되지 않았다.

맥 두 대로 돌릴 수 있을까

메타가 제시한 데스크톱 구성은 M5 Ultra 맥 스튜디오 두 대다. 한 대당 최대 512GB 통합 메모리를 갖추고 최신 MLX와 함께 쓴다. 애플 머신러닝 연구팀은 같은 날 자체 측정 결과를 발표했다. NVFP4 양자화 후 가중치는 약 493GB이고, 추론 과정의 중간 메모리까지 더하면 한 대에는 들어가지 않는다. 두 대를 파이프라인 병렬로 묶으면 초당 15.74토큰, 텐서 병렬로 바꾸면 24.99토큰, 네 대를 텐서 병렬로 묶으면 36.73토큰이 나왔고, 테스트 컨텍스트는 8192였다. 기기 간에는 macOS 26.2에서 도입된 썬더볼트 5 RDMA 드라이버를 쓰며, 두 대마다 케이블을 두 가닥씩 연결한다.

클라우드에서는 더 빠르다. SGLang과 vLLM이 첫날부터 지원하고, Together AI, Modal, OpenRouter에도 모두 올라왔다. Together의 서버리스 가격은 입력 100만 토큰당 1.25달러, 출력 4.25달러, 캐시 입력 0.15달러이며, 태평양시 기준 10월 18일 정오까지 한시적으로 무료다.

메타는 이번 공개를 계기로 자사 파이토치 툴체인도 홍보한다. 모델에는 Helion으로 작성한 커널이 함께 제공되며 RoPE, RMSNorm, 양자화 등이 포함된다. 메타는 NVIDIA GB300에서 CUDA와 CuTe DSL로 직접 짠 커널보다 1.03배에서 3.95배 빠르다고 밝혔다. 같은 커널을 AMD MI350에 그대로 이식하면 엔드투엔드 처리량이 약 3% 향상된다. 파인튜닝은 TorchTitan으로 할 수 있으며, 다중 턴 SFT, LoRA, 강화학습을 지원한다.

폐쇄형에서 개방형으로

메타의 흐름을 이어서 보면 구도가 보인다. Muse Spark는 처음 나왔을 때 메타 최초의 폐쇄형 모델로, 라마 시절의 노선과 갈라섰다. 8월의 1.2 버전은 코딩 제품 Muse Code와 함께 나왔고, 그 전에 메타는 온디바이스용 소형 덴스 모델 Muse Glimmer도 내놓았다. 이제 Spark 자체도 가중치를 공개하면서, 메타의 모델 라인은 폐쇄형 개선 버전과 개방형 버전이 나란히 가는 구조가 됐다. 같은 기반 위에 안전성 후속 학습 한 겹이 다를 뿐이다.

이 구도 덕분에 메타는 양쪽을 모두 챙길 수 있다. 폐쇄형은 Muse 제품과 API에서 계속 수익을 내고, 개방형은 개발자와 추론 서비스 업체의 첫날 지원을 선점하는 역할을 한다. SGLang과 vLLM부터 여러 클라우드 업체까지 첫날 따라붙었으니 이 단계는 이미 달성했다.

라이선스는 여전히 미지수다. 메타는 "제한적인 상업 조건"이라고만 적었고 많은 개발자가 무료로 쓸 수 있다고 밝혔다. 블로그에는 상업적 이용 기준이 명시돼 있지 않으며, 라마 라이선스처럼 월간 활성 사용자 수로 제한을 두는 방식을 이어가는지도 언급이 없다. 약관 전문은 허깅페이스 페이지를 따르므로, 기업이 상업적으로 쓰려면 먼저 이 라이선스를 끝까지 읽어야 한다.

참고 출처: 파이토치 공식 블로그, 메타 연구 블로그, CocoLoop, 애플 머신러닝 연구 블로그, Together AI. Together 가격 페이지로 100만 토큰당 가격과 무료 기간을, 애플 측정 결과로 양자화 크기와 초당 토큰 수를 확인했다.