타오바오(Taobao) MNN 팀이 11월 6일 온디바이스 언어 모델 MNN-Pocket-0.3B를 오픈소스로 공개했다. 파라미터는 약 3억 개이며 중국어와 영어를 중심으로 하고, 휴대전화 앱 안에서 실행하는 용도를 겨냥했다. 팀은 아키텍처와 어휘, 학습 데이터부터 양자화와 추론 엔진까지 모두 함께 설계해 처음부터 학습시켰다고 밝혔다.
아이폰 18 프로(iPhone 18 Pro)에서 완전한 오프라인 상태로 실행하면 평균 디코딩 속도는 초당 약 350토큰이다. INT4 배포 파일은 173MB이고, 가중치와 토크나이저, 연산 그래프, 설정이 모두 들어 있다.
지표를 먼저 정하고 모델을 거꾸로 설계했다
팀은 먼저 네 가지 엄격한 지표를 스스로 정했다. 디코딩 속도는 초당 200토큰을 넘을 것, 최대 메모리는 300MB 미만일 것, 한 번의 추론에 드는 에너지는 기준 기기 배터리의 1만분의 1 이하일 것(100번 실행해도 배터리 소모가 1%를 넘지 않을 것), 그리고 이 제약 안에서 성능을 최대한 끌어올릴 것이다.
파라미터 수는 거꾸로 계산해 정했다. 팀은 약 5천만~13억 개 범위의 여러 Dense 구성을 시험했고, 메모리와 속도 제약을 동시에 만족하는 가장 큰 규모가 3억 개 안팎이었다. 층 수를 16에서 28로 늘리자 성능이 따라 올랐지만 36층에서는 점수가 더 오르지 않았고 디코딩 속도도 초당 355토큰에서 323토큰으로 떨어졌다. 그래서 28층으로 정했다. 어휘는 Qwen3 토크나이저의 약 15만 1천 개에서 6만 4천 개로 줄여 약 57%를 덜어냈고, 임베딩 층과 출력 층의 부담도 함께 낮췄다.
벤치마크와 비교
아이패드 프로 M5(iPad Pro M5, Metal 백엔드, 512토큰 설정)에서의 비교 결과다.
| 테스트 | MNN-Pocket-0.3B | Qwen3-0.6B |
|---|---|---|
| 디코딩 속도 | 466토큰/초 | 286토큰/초 |
| INT4 배포 패키지 | 173MB | 340MB |
| 최대 메모리 증가량 | 228MB | 427MB |
스냅드래곤 8 Gen 5의 CPU 백엔드에서는 디코딩 속도가 초당 251토큰이다. 에너지 측정에는 원플러스 13(OnePlus 13)을 썼고, 4스레드 CPU에 입력 1024토큰, 출력 128토큰 조건에서 한 번에 약 2.7줄이 들었다. 6000mAh 배터리로 환산하면 100회 실행에 약 0.3%가 소모되어 팀이 정한 1% 상한보다 한참 낮다.
성능 면에서는 영어 IFEval 73.20, 중국어 지시 이행 평가 IFEval-zh 74.59, 중국어 수학 MGSM-zh 51.20, HumanEval 53.66을 기록했다. 지식, 추론, 수학, 코드, 지시 이행을 아우르는 11개 평가의 평균은 50.00으로, 팀은 MiniCPM4-0.5B와 Qwen3-0.6B보다 높다고 밝혔다. 이 가운데 IFEval-zh는 팀이 직접 만든 평가 세트이며, 외부 재현 결과는 아직 없다.
공개된 버전은 모두 여섯 가지다. Base, SFT, 지시 버전, W4A16 양자화 학습을 거친 온디바이스 버전, 추측 디코딩용 드래프트 모델 DFlash2(특정 작업에서 디코딩이 최대 2.06배 빨라짐), 그리고 후보 순위를 매기는 결정 헤드 Dec이다. 코드는 GitHub의 alibaba/MNN 저장소에 있다.
중국 앱 개발자에게 의미하는 것
MNN은 알리바바가 자체 개발한 온디바이스 추론 엔진으로 2019년에 오픈소스로 공개됐고, 모바일 타오바오 같은 앱이 수년째 로컬 모델 실행에 사용해 왔다. 이번에 모델과 엔진이 함께 나오면서, 중국 앱 개발팀은 클라이언트에 바로 넣을 수 있는 한 벌의 솔루션을 얻게 됐다. 오픈소스 대형 모델을 직접 잘라 내고 양자화하고 속도를 맞출 필요가 없다.
3억 파라미터로는 복잡한 추론을 할 수 없다. 의도 인식, 짧은 글 고쳐 쓰기, 검색어 자동 완성, 후보 순위 매기기처럼 호출이 잦은 작은 작업에 알맞다. 이런 요청을 그동안 클라우드에서 처리했다면 매번 네트워크 지연과 API 비용이 따랐을 것이다. 기기 안에서 돌리면 오프라인에서도 쓸 수 있고 사용자 입력이 휴대전화 밖으로 나가지 않는다. 다만 173MB는 전자상거래나 도구형 앱에는 여전히 앱 용량 부담이어서, 필요할 때 내려받게 하는 방식이 더 현실적일 수 있다.
여섯 가지 버전 가운데 전용 Dec 결정 헤드가 따로 있는 점을 보면, 팀이 노리는 활용 방향은 순위와 선택 계열 작업 쪽으로 보인다. 타오바오 자체가 어떤 기능에 이 모델을 쓰고 있는지는 공개 자료에 설명이 없다.
참고 출처: ITHome, CocoLoop, MNN 오픈소스 저장소. 아이폰 18 프로와 아이패드 프로 M5의 디코딩 속도, INT4 배포 패키지 용량, 평가 점수의 산출 기준을 확인했다.