HSCodeComp testa se agentes aplicam regras profissionais hierarquicas, nao apenas buscam na web ou completam codigo. O ponto central nao e apenas o anuncio, mas como ele muda os criterios de avaliacao para desenvolvedores, empresas e formuladores de politica.
O que mudou
Os fatos principais sao: ACL 2026 main conference paper, 632 realistic product entries, 32 categories, 26 customs experts, best current agent 46.8% at 10-digit codes, Marco Agent 65.0%, human experts 95.0%. Esses dados ajudam a separar a narrativa de lancamento daquilo que pode ser testado.
Por que importa
A competicao em IA ja envolve mais do que desempenho de modelo: preco, permissoes, hardware, energia, seguranca e operacao contam cada vez mais.
O que observar
O proximo teste e a execucao. A pergunta e se o produto ou a politica funciona em ambientes reais, nao apenas em demos ou benchmarks.
Fontes verificadas: QbitAI, CocoLoop, ACL Anthology 2026.acl-long.937, arXiv 2510.19631, AIDC-AI Marco-DeepResearch GitHub.