A equipa MNN do Taobao abriu o código, a 6 de novembro, do modelo de linguagem para dispositivos MNN-Pocket-0.3B. Com cerca de 300 milhões de parâmetros, foca-se em chinês e inglês e foi pensado para correr dentro de aplicações móveis. Segundo a equipa, da arquitetura, do vocabulário e dos dados de treino à quantização e ao motor de inferência, tudo foi concebido em conjunto e o modelo foi treinado de raiz.
No iPhone 18 Pro, funciona totalmente offline com uma velocidade média de decodificação de cerca de 350 tokens/s; o ficheiro de implementação INT4 ocupa 173 MB e inclui pesos, tokenizador, grafo de computação e configuração.
Primeiro as metas, depois o modelo
A equipa começou por fixar quatro metas rígidas: velocidade de decodificação acima de 200 tokens/s; pico de memória abaixo de 300 MB; energia por inferência não superior a um décimo de milésimo da bateria do aparelho de referência, ou seja, 100 execuções gastarem no máximo 1% de bateria; e, dentro destes limites, a maior capacidade possível.
O número de parâmetros foi deduzido a partir daí. A equipa testou várias configurações densas, de cerca de 50 milhões a 1,3 mil milhões de parâmetros, e perto de 300 milhões é a maior escala que cumpre ao mesmo tempo os limites de memória e velocidade. Ao passar de 16 para 28 camadas, a capacidade subiu; com 36, a pontuação deixou de aumentar e a velocidade de decodificação caiu de 355 para 323 tokens/s, pelo que se fixou em 28 camadas. O vocabulário, com base no tokenizador do Qwen3, foi reduzido de cerca de 151 mil para 64 mil entradas, um corte de cerca de 57%, o que também baixou o custo das camadas de embedding e de saída.
Resultados e comparação
Comparação no iPad Pro M5 (backend Metal, configuração de 512 tokens):
| Teste | MNN-Pocket-0.3B | Qwen3-0.6B |
|---|---|---|
| Velocidade de decodificação | 466 tokens/s | 286 tokens/s |
| Pacote INT4 | 173 MB | 340 MB |
| Aumento do pico de memória | 228 MB | 427 MB |
No backend de CPU do Snapdragon 8 Gen 5, a decodificação chega a 251 tokens/s. O teste de energia usou um OnePlus 13, com CPU de 4 threads, entrada de 1024 tokens e saída de 128 tokens, gastando cerca de 2.7 joules por execução; convertido para uma bateria de 6000 mAh, 100 execuções consomem cerca de 0.3%, bem abaixo do teto de 1% que a equipa definiu.
Quanto às capacidades, o modelo obtém 73.20 no IFEval em inglês, 74.59 no IFEval-zh (seguimento de instruções em chinês), 51.20 no MGSM-zh (matemática em chinês) e 53.66 no HumanEval. A média de 11 avaliações que cobrem conhecimento, raciocínio, matemática, código e seguimento de instruções é 50.00, e a equipa afirma que supera o MiniCPM4-0.5B e o Qwen3-0.6B. O IFEval-zh é um conjunto de avaliação criado pela própria equipa, e por enquanto não há resultados reproduzidos por terceiros.
No total foram abertas seis versões: Base, SFT, a versão de instruções, a versão para dispositivos treinada com quantização W4A16, o modelo rascunho DFlash2 para decodificação especulativa (até 2.06 vezes mais rápida em certas tarefas) e a cabeça de decisão Dec, usada para ordenar candidatos. O código está no repositório alibaba/MNN no GitHub.
O que muda para programadores de apps na China
O MNN é o motor de inferência para dispositivos desenvolvido pela Alibaba, de código aberto desde 2019; aplicações como o Taobao móvel usam-no há vários anos para executar modelos localmente. Com modelo e motor agora lançados em conjunto, as equipas que fazem aplicações na China recebem uma solução completa que pode entrar diretamente no cliente, sem terem de recortar, quantizar e otimizar a velocidade a partir de um grande modelo de código aberto.
Com 300 milhões de parâmetros não se faz raciocínio complexo; o modelo serve para tarefas pequenas e frequentes, como reconhecimento de intenção, reescrita de textos curtos, completar termos de pesquisa e ordenar candidatos. Se estes pedidos iam antes para a nuvem, cada um pagava latência de rede e custos de API; no aparelho, funcionam mesmo offline e o que o utilizador escreve não sai do telemóvel. Ainda assim, 173 MB continuam a pesar no tamanho do pacote de apps de comércio eletrónico e de utilitários, e o mais realista pode ser descarregar sob demanda.
Que entre as seis versões haja uma cabeça de decisão Dec dedicada sugere que a equipa aposta sobretudo em tarefas de ordenação e escolha. Em que funcionalidades o próprio Taobao já usa o modelo, os materiais de lançamento não dizem.
Fontes: IT Home, CocoLoop, repositório de código aberto do MNN; verificadas as velocidades de decodificação no iPhone 18 Pro e no iPad Pro M5, o tamanho do pacote INT4 e os critérios de pontuação das avaliações.