Hugging Face pasa la inferencia a OpenRouter, sin recargo

Hugging Face anunció el 16 de noviembre que, desde ese mismo día, las peticiones de modelos de lenguaje de Inference Providers pasan a ser enrutadas por OpenRouter, en lugar de por el enrutador que la propia Hugging Face había escrito. Los usuarios no tienen que cambiar su código y el gasto sigue facturándose en Hugging Face; la generación de imágenes, vídeo y audio no se ve afectada y sigue conectada directamente a cada proveedor de inferencia.

OpenRouter elegirá un proveedor de inferencia para cada llamada según el precio, la velocidad y la fiabilidad en tiempo real. Según el blog oficial, el principio de precios es cobrar al precio original del proveedor, sin ningún recargo de Hugging Face.

Qué cambia

El cambio más directo es la conmutación por error. Antes, cuando un proveedor fallaba, el usuario recibía el error de ese proveedor; ahora la petición se reintenta automáticamente con otro.

Los sufijos de enrutamiento detrás del ID del modelo siguen funcionando. Con GLM-5.3 como ejemplo, sin sufijo se aplica el valor predeterminado de mejor resultado global, :fastest elige el de mayor rendimiento, :cheapest el más barato, y fórmulas como :novita fijan un único proveedor.

El enrutamiento tiene en cuenta la caché de prompts. Si el usuario envía en la cabecera X-HF-Session-Id un UUID fijo para cada conversación, toda la conversación se dirige al proveedor que guarda su caché. Usuarios y organizaciones también pueden desactivar ciertos proveedores en los ajustes, y el enrutador dejará de enviarles peticiones.

En cuanto a las interfaces, todos los modelos de chat pueden llamarse mediante las interfaces Chat Completions y Responses de OpenAI y la interfaz Messages de Anthropic, sea cual sea el proveedor que haya detrás. Las páginas de los modelos incorporan las pestañas Providers y Metrics, que muestran por proveedor el precio, la velocidad y la disponibilidad en las últimas 24 horas.

Hay un cambio incompatible: los modelos de lenguaje ya no pueden usar la clave de API que el usuario tenga en un proveedor; todas las peticiones se facturan a la cuenta u organización de Hugging Face. Las claves personalizadas de los proveedores de imagen y vídeo se siguen pudiendo usar.

Illustration: rail switches route carts around a blocked track like OpenRouter; a separate line preserves direct access

Hacer las cuentas

En su blog, Hugging Face ofrece una serie de precios medios: los modelos de pesos abiertos cuestan de media 0,28 dólares por millón de tokens de entrada y 1,62 dólares de salida; los modelos cerrados, 1,27 y 6,36 dólares, respectivamente. A grandes rasgos, el modelo cerrado resulta unas 4,5 veces más caro en la entrada y unas 3,9 veces en la salida.

En cuanto a la cuota gratuita, los usuarios PRO reciben 2 dólares al mes, y las organizaciones Team y Enterprise, 2 dólares al mes por puesto. Con el precio medio de salida de los modelos abiertos, 2 dólares equivalen a unos 1,2 millones de tokens de salida; si se gastan todos en modelos cerrados, solo alcanzan para unos 300.000. Esta cuota sirve para probar y hacer pequeños experimentos; para producción de verdad hay que pagar aparte.

El “sin recargo” le ahorra al usuario la capa del intermediario, siempre que el precio original del proveedor sea adecuado. Con las claves propias desactivadas, los equipos que negociaron descuentos o tienen saldo prepagado con algún proveedor no podrán aprovechar esas condiciones al llamar a través de Hugging Face y solo les queda volver a la interfaz del propio proveedor.

El lugar de OpenRouter

Según las cifras que cita el blog de Hugging Face, OpenRouter procesa más de 800 billones de tokens al mes, cuenta con más de 10 millones de usuarios y reúne más de 600 modelos de más de 80 proveedores. Según las mediciones del propio OpenRouter, tras reescribir el enrutamiento los errores por falta de capacidad bajaron un 46 %, la latencia del primer token mejoró un 16,9 % y el rendimiento subió un 16,3 %; son datos aportados únicamente por OpenRouter, sin verificación de terceros.

OpenRouter anunció en agosto de este año que pasa a formar parte de Stripe. Hugging Face, la mayor plataforma de alojamiento de modelos de código abierto del mundo, entrega ahora la entrada de la inferencia de modelos de lenguaje a un servicio de enrutamiento de una empresa de pagos; así, el volumen de llamadas a los modelos de código abierto del Hub también pasará por el libro de cuentas de OpenRouter.

El blog enumera dos planes posteriores: permitir vincular una cuenta de OpenRouter a Hugging Face y llevar más tipos de tareas al enrutamiento de OpenRouter. Ninguno de los dos tiene fecha.

Fuentes: blog oficial de Hugging Face, CocoLoop, información pública de OpenRouter; los precios medios de modelos abiertos y cerrados y la cuota gratuita siguen las cifras del blog de Hugging Face, y los datos de rendimiento del enrutamiento son mediciones del propio OpenRouter.