미스트랄(Mistral)이 1조 파라미터급 모델 Mistral Large 4의 오픈 웨이트를 공개했다. 허깅페이스(Hugging Face)는 10월 29일 게시글에서 이 모델이 FP8과 NVFP4 두 가지 정밀도로 올라왔으며, Transformers, vLLM, llama.cpp에서 공개 당일부터 실행할 수 있다고 소개했다. Unsloth도 GGUF 양자화 버전을 함께 내놓았다. 미스트랄은 10월 6일 리서치 프리뷰를 공개하면서 월말까지 오픈소스로 풀겠다고 약속했는데, 이번에 그 약속을 일정대로 지킨 셈이다.
구조와 라이선스
모델 저장소 이름은 Mistral-Large-4-1T-A52B다. 허깅페이스 설명에 따르면 모델은 총 72개 층이며, 128개 전문가로 이뤄진 전문가 혼합(MoE) 구조를 쓴다. 토큰마다 라우팅 전문가 4개와 공유 전문가 1개를 거친다. 어텐션에는 멀티헤드 잠재 어텐션(MLA)과 희소 인덱싱을 적용해 쿼리 하나가 최대 2048개의 키 위치를 본다. 비전 부분은 1.6B 규모의 Pixtral 인코더이며, 텍스트와 이미지를 입력받아 텍스트를 출력한다.
활성 파라미터 수는 현재 두 가지 수치가 있다. 블로그 본문에는 약 490억 개, 저장소 이름에는 520억 개로 적혀 있어 미스트랄의 추가 설명을 기다려야 한다. 컨텍스트 윈도는 100만 토큰으로 표기됐지만 실제 배포 설정은 이보다 낮다. vLLM과 Inference Endpoints 예시는 131K로 설정돼 있고, llama.cpp의 2비트 양자화 버전은 80만이다.
라이선스는 Mistral Ecosystem Open-Weight License로, MIT를 바탕으로 고쳐 쓴 것이다. 모델을 그대로 서비스형 모델(MaaS)로 포장해 판매하는 것을 제한한다. 자체 사용, 파인튜닝, 프라이빗 배포에는 영향이 없지만, 이를 API로 되팔 계획인 클라우드 업체는 먼저 약관을 꼼꼼히 살펴야 한다.
점수는 보안과 코딩에 집중
허깅페이스가 제시한 성적 가운데 보안 분야가 가장 두드러진다. Cybench의 보안 대회 문제 40개에서 93%, 취약점 재현 및 패치에서 82%, Lakera B3 공격 저항에서 93.3%를 기록했고, Artificial Analysis 사이버 보안 지수에서는 전 세계 5위 안에 들었다. 코딩 에이전트 부문에서는 DeepSWE v1.1이 61.7%, SWE-Atlas-QnA가 59.4%, Terminal-Bench 4가 28.3%다. 종합 지능 지수는 오픈 웨이트 모델 중 5위다.
"Mistral Large 4 is particularly strong for cybersecurity, coding agents, and multimodality." (Mistral Large 4는 사이버 보안, 코딩 에이전트, 멀티모달에서 특히 강하다.)
이 수치들은 모두 공식 및 파트너사 기준이다. 커뮤니티가 가중치를 받아 어디까지 재현해 낼지는 시간이 더 필요하다.
Large 3에서 오픈 웨이트까지
미스트랄의 계보를 이어서 보면 변화가 작지 않다. 프리뷰 공개 당시 Artificial Analysis가 내놓은 데이터에 따르면 Large 3의 지능 지수는 9점에 불과했고, Large 4 프리뷰는 38점을 받았다. 프리뷰 단계에서는 모델이 미스트랄 자체 API로만 제공됐고 개발자, 보안 책임자, 정부 기관이 우선 대상이었다. 당시 미스트랄은 코딩 등 일부 분야에서는 최전선의 비공개 모델에 아직 뒤처진다는 점도 인정했다. 이번에 공개된 Terminal-Bench 4의 28.3%는 보안 분야의 90%대 점수와 비교하면 격차가 뚜렷해, 이 자체 평가와 대체로 맞아떨어진다.
가중치가 풀리면서 배포 방식은 한꺼번에 늘었다. 허깅페이스 Inference Endpoints는 H200 8장을, Dell Enterprise Hub 예시는 B300 4장을 쓰고, TRL 파인튜닝 예시에는 8카드 B300 노드 한 대가 필요하다. llama.cpp의 2비트 양자화 버전은 512GB 통합 메모리를 갖춘 Apple Silicon Ultra 한 대에 들어간다. 그 밖의 양자화 버전은 여러 GPU로 분산 실행해야 하며, 공식 측은 RTX 6000 Pro 4장에서 테스트했다.
프리뷰 보도 때 우리는 8비트 정밀도에서는 가중치만 저장하는 데에도 약 1TB의 VRAM이 필요하다고 추산했다. 이제 NVFP4와 2비트 버전이 문턱을 낮췄지만, 대부분의 팀에게는 8카드 Blackwell 서버가 여전히 시작 사양이다. Mistral API의 정식 가격은 이번 발표에서 언급되지 않았다.
참고 출처: Hugging Face 공식 블로그, vLLM 블로그, CocoLoop, Artificial Analysis. 파라미터 구조, 컨텍스트 길이, 라이선스 명칭은 Hugging Face 모델 카드로 확인.