OpenBMB ha liberado por completo su sistema MathForm de formalización matemática automática: los pesos del modelo de 8B, un conjunto de datos de unos 367.000 ejemplos verificados en Lean 4, el código de evaluación y los scripts de Pass@k. El modelo está alojado en Hugging Face bajo licencia Apache 2.0, construido sobre Qwen3-8B, con pesos en precisión BF16. El proyecto ha sido desarrollado por el equipo de OpenBMB, con el respaldo del laboratorio de procesamiento del lenguaje natural de Tsinghua y de ModelBest; el artículo homónimo, firmado por diez autores, se envió a arXiv a mediados de este mes.
La formalización automática consiste en traducir proposiciones matemáticas escritas en lenguaje natural a un lenguaje formal verificable por máquina, como Lean 4. La dificultad no está en la traducción literal. La jerarquía de tipos y el aparato de definiciones de Mathlib son enormes: nociones como "función continua" o "grupo finito" deben corresponderse exactamente con la definición correcta dentro de la biblioteca, a la vez que la proposición formalizada debe seguir diciendo lo mismo que la original. Si cualquiera de las dos cosas falla, el compilador puede dar el visto bueno igualmente.
Cómo se construyeron los datos
El pipeline de MathForm consta de cuatro pasos. Un planificador consulta primero Mathlib sobre los conceptos matemáticos presentes en la proposición, y la herramienta de búsqueda LeanExplore devuelve cada vez los 22 mejores resultados. El modelo genera entonces la proposición en Lean 4 condicionado a ese contexto recuperado. Los candidatos pasan por una comprobación de formato, una prueba de compilación y, después, un juicio de consistencia semántica a cargo de un modelo de lenguaje que actúa como árbitro. Las trayectorias que superan el proceso se reconstruyen retroactivamente como trayectorias de entrenamiento limpias.
Una cifra del artículo ilustra por qué la iteración es necesaria: las rondas posteriores aportaron un 31,0 % adicional sobre el total de muestras finalmente retenidas. Es decir, si solo se hiciera una generación única y se descartaran los ejemplos no válidos, se perdería casi un tercio de los datos utilizables.
La búsqueda de información es el elemento más económico de todo el diseño. Pedirle a un modelo que recuerde de memoria el nombre exacto y la firma de una definición de Mathlib equivale, en esencia, a examinarlo sobre si se ha memorizado una biblioteca que sigue actualizándose. Al delegar la biblioteca en una herramienta de búsqueda y dejar que el modelo solo se encargue de ensamblar los resultados, la cantidad de parámetros necesaria se reduce de forma natural. Esto también explica por qué un modelo de 8B puede medirse con uno de 32B: en realidad, ambos no están resolviendo el mismo problema.
El conjunto de datos resultante se llama FormalVerse, con unos 367.000 ejemplos verificados procedentes de DeepTheorem, NuminaMath, AceReason-Math, Lean Workbook, Principia-Collection, DeepMath y OpenR1-Math, complementados con contenido de libros de texto clásicos. Este conjunto de datos ya ha recibido 358 "me gusta" en Hugging Face.
El boletín de resultados y sus dos criterios
El entrenamiento combina ajuste supervisado seguido de aprendizaje por refuerzo. La evaluación abarca seis benchmarks: FormalMATH-Lite y DeepSeek-ProverBench se centran en matemáticas de competición, CombiBench evalúa combinatoria, y la serie FATE se divide en tres niveles de dificultad algebraica: M, H y X.
MathForm-8B obtiene una media de Pass@8 del 88,06 % en la comprobación de sintaxis y del 72,37 % en la comprobación de consistencia; las tasas de consistencia en los tres niveles de FATE son, respectivamente, 97,33 %, 63,00 % y 37,00 %. Los modelos de referencia incluyen Herald Translator-7B, Kimina-Autoformalizer-7B, Mathesis-HPO-7B, además de las versiones de 7B/8B y 32B de StepFun-Formalizer, Goedel-Formalizer-V2 y ReForm. El modelo de 8B supera en varios conjuntos de prueba a los modelos de formalización especializados de 32B.
La brecha entre ambos criterios resulta más reveladora que las puntuaciones absolutas. La comprobación de sintaxis solo pregunta si el código compila; la comprobación de consistencia pregunta si la proposición formalizada significa lo mismo que la original: 88 % frente a 72 %, y esos diez y pico puntos porcentuales son, precisamente, el cuello de botella real de este proceso hoy en día. Que algo compile no significa necesariamente que sea el teorema que se quería demostrar.
El umbral baja a una sola estación de trabajo
Este medio publicó hace poco la advertencia de Terence Tao sobre que las pruebas generadas por IA podrían acumularse hasta un punto en que nadie llegara a leerlas todas. La formalización aporta la otra mitad de la respuesta a ese problema: mientras una prueba supere el compilador de Lean, entenderla deja de ser un requisito para aceptarla. Lo que sigue siendo un requisito es que la proposición esté bien traducida, y el 37 % obtenido en FATE-X muestra que todavía queda bastante camino por recorrer.
Haciendo cuentas por encima, un modelo de 8B cargado en BF16 necesita unos 16 GB de memoria de vídeo, mientras que uno de 32B con la misma precisión ronda los 64 GB. El primero puede ejecutarse en una sola tarjeta gráfica de consumo de 24 GB; el segundo requiere varias tarjetas o hardware profesional. Para departamentos universitarios de matemáticas, la comunidad de asistentes de demostración y equipos pequeños, el listón de hardware para hacer funcionar un pipeline de formalización baja así del nivel de clúster al nivel de una sola máquina. Al publicarse a la vez el conjunto de datos y el código de evaluación, también se reduce el coste para que terceros reproduzcan el trabajo y lo pongan a prueba.
La lista de modelos comparados también deja claro lo saturado que está ya este terreno: Herald, Kimina, Mathesis, StepFun-Formalizer, Goedel-Formalizer-V2, ReForm, todos ellos modelos de formalización especializados surgidos en el último año o dos, y todos de código abierto. A diferencia del diálogo de propósito general, la formalización no gana terreno solo a base de potencia de cálculo, sino mediante la calidad en la construcción de datos y el ciclo de verificación; el tamaño de los parámetros pasa aquí a ser una variable secundaria. Que un pipeline pase de una demostración en un artículo a una entrega de código abierto a este ritmo va más rápido de lo que la mayoría habría esperado.
Fuentes: repositorio del proyecto y ficha del modelo de OpenBMB, CocoLoop, preprint de arXiv 2608.14221, página del conjunto de datos en Hugging Face; se verificaron el tamaño de los parámetros, la licencia, el volumen de muestras de FormalVerse y las cifras de Pass@8 de cada conjunto de prueba.