A ModelBest (Mianbi Zhineng, em chinês) e a comunidade OpenBMB lançaram oficialmente em 13 de outubro o modelo multimodal MiniCPM-V 4.7, com duas versões de uma vez: 35B-A3B e 1B. A primeira é o primeiro modelo de mistura de especialistas (MoE) da série MiniCPM-V, com cerca de 35 bilhões de parâmetros no total e apenas cerca de 3 bilhões ativados a cada inferência; a segunda é voltada a celulares de entrada.
Os números oficiais para execução no dispositivo: o 35B-A3B ocupa cerca de 3 GB de memória no iPhone 17 Pro Max, com velocidade de decodificação de mais de 13 tokens por segundo. Código e pesos usam a licença Apache-2.0, conforme indicado no rodapé do repositório no GitHub.
35B em 3 GB: o segredo é agendar os especialistas com antecedência
O problema dos modelos MoE é que o total de parâmetros é enorme, mas a cada passo só uma pequena parte é usada. Em um servidor, tudo cabe na memória da GPU; no celular, não. Os especialistas necessários precisam ser lidos do armazenamento durante o cálculo, e, se a leitura for lenta, o aparelho trava.
A solução da ModelBest se chama LES (Look-ahead Expert Scheduling, agendamento antecipado de especialistas). Segundo a descrição na página do GitHub, ela faz três coisas:
- prevê o roteamento entre camadas, carregando de antemão os especialistas com maior chance de serem usados na camada seguinte;
- na camada atual, calcula primeiro os especialistas que já estão na memória e foram escolhidos pelo roteador;
- combina quantização de pesos com um layout de armazenamento redesenhado, reduzindo o tamanho e acelerando a leitura.
A empresa afirma que o método rende cerca de 5 vezes mais velocidade em aparelhos reais. Uma técnica mais antiga foi mantida: a parte visual comprime os tokens de imagem de forma mista, em 4 vezes e 16 vezes, algo que já aparecia no MiniCPM-V 4.6, lançado em maio.
Um desenvolvedor independente já havia examinado o arquivo de configuração do modelo: 40 camadas, sendo 30 de atenção linear e 10 de atenção completa, 8 de 256 especialistas escolhidos por token e contexto de 256K. Os pesos em BF16 somam cerca de 70,4 GB. Ou seja, os 3 GB são o uso em execução após a quantização e o carregamento sob demanda; quem quiser rodar sem quantizar vai sufocar até um computador comum.
As pontuações só valem na comparação com a mesma faixa
Segundo a ModelBest, o 35B-A3B foi avaliado em 34 benchmarks que cobrem visão geral, raciocínio STEM, OCR e gráficos, e vídeos longos. No modo Instruct, a pontuação geral supera a do Qwen3.6-35B-A3B, de mesma especificação 35B-A3B, com tempo de inferência menor, e em alguns itens passa o Qwen 27B e o Gemma-4 31B. A versão 1B é comparada ao Qwen3.5 0.8B, com pontuação geral e eficiência de inferência melhores.
Tudo isso são números autodeclarados pelo fabricante. A tabela de resultados na página do GitHub é uma imagem, as notas específicas não foram detalhadas nas reportagens e ainda não há reprodução independente.
O lançamento teve ainda um pequeno episódio. De acordo com o registro de um desenvolvedor independente, os pesos do 35B-A3B apareceram no Hugging Face na noite de 6 de outubro, sem model card, sem licença e sem dados de avaliação; as informações só foram completadas por volta de 12 de outubro.
Para desenvolvedores na China, onde está a barreira
Desta vez a ModelBest publicou uma lista de compatibilidade bem longa: os sistemas incluem iOS, Android e HarmonyOS, e os chips citados são Intel, AMD, Arm, Rockchip e Houmo AI. A presença de Rockchip e Houmo AI na lista indica que o alvo não são só celulares, mas também caixas de borda, robôs e dispositivos veiculares no país, cenários em que muitas vezes não é possível chamar um modelo grande na nuvem pela rede.
Também foi aberto simultaneamente o método de ajuste fino SRFT (Self-Replay Fine-Tuning), que, segundo a empresa, amplia capacidades a baixo custo e reduz o esquecimento das habilidades originais. Para equipes que querem personalizar o modelo em seus próprios dispositivos, isso é mais útil do que apenas um conjunto de pesos.
Ainda assim, há alguns pontos a observar com atenção:
- Os 13 tokens por segundo foram medidos no iPhone 17 Pro Max; há veículos citando mais de 15 tokens por segundo no iPad Pro. Para Androids intermediários e aparelhos HarmonyOS, a empresa ainda não divulgou números.
- Os 3 GB são a memória em execução; o arquivo do modelo continua ocupando o armazenamento do celular, e o tamanho exato após a quantização depende dos arquivos oficiais.
- A lista diz "compatível"; se os frameworks de inferência e os formatos de quantização de cada plataforma já estão prontos para uso, é algo que o desenvolvedor precisa verificar por conta própria.
Nas últimas gerações do MiniCPM-V, a ModelBest sempre seguiu a linha de "poucos parâmetros, direto no celular". Ao levar o MoE para o aparelho, a estrutura de parâmetros mostra uma distribuição diferente entre o total de parâmetros e a memória do celular: o total cresce, mas o que é usado a cada passo continua em torno de 3 bilhões. Duas coisas a acompanhar: se o LES consegue manter a velocidade em dispositivos com menos memória e se avaliações de terceiros conseguem reproduzir os resultados desses 34 testes.
Fontes: repositório OpenBMB MiniCPM-V no GitHub (princípio do LES, plataformas compatíveis, licença); ITHome; CocoLoop; Ifeng Tech; página do modelo e arquivo de configuração no Hugging Face (camadas, especialistas, tamanho dos pesos).