미엔비 인텔리전스(面壁智能, ModelBest)와 OpenBMB 커뮤니티는 10월 13일 멀티모달 모델 MiniCPM-V 4.7을 정식 공개하며 35B-A3B와 1B 두 가지 버전을 함께 내놓았다. 앞의 모델은 MiniCPM-V 시리즈 최초의 전문가 혼합(MoE) 모델로, 전체 파라미터가 약 350억 개이고 추론 한 번에 활성화되는 것은 약 30억 개뿐이다. 뒤의 모델은 보급형 스마트폰을 겨냥했다.
공식이 밝힌 온디바이스 수치는 이렇다. 35B-A3B는 아이폰 17 프로 맥스에서 메모리를 약 3GB 사용하고, 디코딩 속도는 초당 13토큰 이상이다. 코드와 가중치는 GitHub 저장소 하단 표기에 따르면 Apache-2.0 라이선스로 공개됐다.
3GB에 35B를 담은 비결은 전문가 선행 스케줄링
MoE 모델의 어려움은 전체 파라미터는 많은데 매 단계에서 쓰는 것은 일부에 불과하다는 점이다. 서버에서는 전부 GPU 메모리에 올릴 수 있지만 스마트폰에서는 불가능하다. 연산을 하면서 필요한 전문가를 저장장치에서 읽어 와야 하는데, 읽는 속도가 느리면 끊긴다.
미엔비가 내놓은 해법은 LES(Lookahead Expert Scheduling, 전문가 선행 스케줄링)다. GitHub 페이지 설명에 따르면 세 가지를 한다.
- 층을 가로질러 라우팅을 예측해, 다음 층에서 쓰일 가능성이 높은 전문가를 미리 로드한다.
- 현재 층에서는 이미 메모리에 있으면서 라우터가 선택한 전문가부터 먼저 계산한다.
- 가중치 양자화와 새로 설계한 저장 레이아웃을 함께 적용해 크기를 줄이고 읽기 속도를 높인다.
공식은 이 방식이 실기기에서 약 5배의 속도 향상을 가져왔다고 밝혔다. 기존 기술도 이어졌다. 비전 부분은 4배와 16배를 섞은 압축으로 시각 토큰을 줄이는데, 이는 5월에 공개된 MiniCPM-V 4.6에서 이미 등장한 방식이다.
제3자 개발자는 앞서 모델의 설정 파일을 살펴봤다. 40개 층 가운데 30개가 선형 어텐션, 10개가 풀 어텐션이고, 256명의 전문가 중 토큰마다 8명을 고르며, 컨텍스트 길이는 256K다. BF16 가중치는 모두 합쳐 약 70.4GB다. 다시 말해 3GB는 양자화와 필요 시 로딩을 거친 뒤의 실행 시 사용량이며, 양자화 없이 그대로 돌리려면 일반 PC로도 감당하기 어렵다.
벤치마크는 같은 급끼리만 비교
미엔비에 따르면 35B-A3B는 범용 비전, STEM 추론, OCR과 차트, 장편 영상 등을 아우르는 34개 벤치마크에서 평가됐다. Instruct 모드의 종합 점수는 같은 35B-A3B 규모인 Qwen3.6-35B-A3B보다 높고 추론 시간도 더 짧으며, 일부 항목에서는 Qwen 27B와 Gemma-4 31B를 넘어섰다고 한다. 1B 버전은 Qwen3.5 0.8B를 비교 대상으로 삼아 종합 점수와 추론 효율 모두 더 낫다고 밝혔다.
이는 모두 업체가 자체 발표한 내용이다. GitHub 페이지의 성적표는 이미지이고, 구체적인 점수는 언론 보도에서도 다뤄지지 않았으며, 아직 독립적인 재현 결과는 나오지 않았다.
공개 과정에도 작은 해프닝이 있었다. 제3자 개발자의 기록에 따르면 35B-A3B 가중치는 10월 6일 밤 Hugging Face에 올라왔지만 모델 카드도, 라이선스도, 평가 데이터도 없었고, 관련 설명은 10월 12일 전후에야 채워졌다.
중국 개발자에게 진입 장벽은 어디인가
이번에 미엔비는 지원 목록을 길게 적었다. 운영체제는 iOS, 안드로이드, 훙멍(HarmonyOS)을 아우르고, 칩은 Intel, AMD, Arm, 루이신웨이(瑞芯微, Rockchip), 허우모(后摩, Houmo AI)가 이름을 올렸다. 루이신웨이와 허우모가 목록에 있다는 것은 미엔비가 스마트폰뿐 아니라 중국 내 엣지 박스, 로봇, 차량용 같은 기기도 겨냥한다는 뜻이다. 이런 환경에서는 클라우드의 대형 모델을 네트워크로 호출하기 어려운 경우가 많다.
함께 오픈소스로 공개된 SRFT(Self-Replay Fine-Tuning)라는 파인튜닝 방안도 있다. 공식은 낮은 비용으로 능력을 확장하면서 기존 능력의 망각을 줄이는 방법이라고 설명한다. 자사 기기에서 맞춤화를 하려는 팀에는 가중치만 덜렁 공개하는 것보다 실용적이다.
다만 눈여겨볼 대목이 몇 가지 있다.
- 초당 13토큰은 아이폰 17 프로 맥스에서 측정한 값이다. 일부 매체는 아이패드 프로에서 초당 15토큰 이상이 나온다고 인용했다. 중급 안드로이드폰과 훙멍 기기에서의 속도는 공식이 아직 수치를 내놓지 않았다.
- 3GB는 실행 시 메모리이며, 모델 파일 자체는 여전히 스마트폰 저장 공간을 차지한다. 양자화 후의 정확한 크기는 공식 배포 파일을 기준으로 확인해야 한다.
- 지원 목록에는 '지원'이라고 적혀 있을 뿐, 각 플랫폼의 추론 프레임워크와 양자화 형식이 바로 쓸 수 있는 상태인지는 개발자가 하나하나 검증해야 한다.
미엔비의 MiniCPM-V는 지난 몇 세대 동안 '작은 파라미터, 스마트폰 탑재' 노선을 이어 왔다. 이번에 MoE를 가져온 것은 파라미터 구조로 보면 전체 파라미터와 스마트폰 메모리 사이의 배분 방식을 바꾼 것이다. 총량은 키우되 매 단계에서 쓰는 양은 30억 개 안팎으로 묶었다. 앞으로 볼 대목은 두 가지다. LES가 메모리가 더 작은 기기에서도 속도를 유지할 수 있는지, 그리고 제3자 평가가 그 34개 항목의 성적을 재현할 수 있는지다.
참고 출처: OpenBMB GitHub 저장소 MiniCPM-V(LES 원리, 플랫폼 지원, 라이선스), IT즈자(ITHome), CocoLoop, 펑황왕 테크(凤凰网科技), Hugging Face 모델 페이지 및 설정 파일(층 수, 전문가 수, 가중치 용량)