Inferensi Hugging Face beralih ke OpenRouter, tanpa markup

Hugging Face mengumumkan pada 16 November bahwa permintaan model bahasa di Inference Providers mulai hari itu dirutekan oleh OpenRouter, menggantikan router buatan Hugging Face sendiri. Kode pengguna tidak perlu diubah, dan tagihan tetap dicatat di akun Hugging Face. Pembuatan gambar, video, dan audio tidak terpengaruh dan tetap terhubung langsung ke masing-masing penyedia inferensi.

OpenRouter memilih satu penyedia inferensi untuk setiap panggilan berdasarkan harga, kecepatan, dan keandalan secara real-time. Prinsip harga yang disebut blog resmi adalah ditagih sesuai harga asli penyedia, tanpa markup tambahan dari Hugging Face.

Apa yang berubah

Perubahan yang paling langsung adalah failover. Dulu, ketika satu penyedia mengalami galat, pengguna menerima pesan galat dari penyedia itu; kini permintaan otomatis dicoba ulang di penyedia lain.

Akhiran rute pada ID model tetap berfungsi. Dengan GLM-5.3 sebagai contoh, tanpa akhiran berarti pilihan terbaik secara menyeluruh (default), :fastest memilih throughput tertinggi, :cheapest memilih yang termurah, dan bentuk seperti :novita mengunci permintaan ke satu penyedia saja.

Perutean juga memperhatikan prompt caching. Jika pengguna menyertakan UUID tetap untuk tiap percakapan pada header permintaan X-HF-Session-Id, percakapan yang sama akan dikunci ke penyedia yang menyimpan cache-nya. Pengguna dan organisasi juga dapat mematikan penyedia tertentu di pengaturan, sehingga router tidak lagi mengirim permintaan ke sana.

Dari sisi antarmuka, semua model chat dapat dipanggil lewat antarmuka Chat Completions dan Responses milik OpenAI serta antarmuka Messages milik Anthropic, apa pun penyedia di baliknya. Halaman model mendapat dua tab baru, Providers dan Metrics, yang mencantumkan harga, kecepatan, dan tingkat ketersediaan 24 jam per penyedia.

Ada satu perubahan yang tidak kompatibel: model bahasa tidak lagi dapat memakai kunci API yang diperoleh pengguna sendiri dari suatu penyedia, dan semua permintaan ditagihkan ke akun atau organisasi Hugging Face. Kunci kustom untuk penyedia gambar dan video masih bisa dipakai.

Illustration: rail switches route carts around a blocked track like OpenRouter; a separate line preserves direct access

Hitung-hitungan biaya

Hugging Face memberikan harga rata-rata di blognya. Model open-weight rata-rata 0,28 dolar AS per sejuta token input dan 1,62 dolar per sejuta token output; model tertutup masing-masing 1,27 dolar dan 6,36 dolar. Secara kasar, input model tertutup sekitar 4,5 kali lebih mahal dan output sekitar 3,9 kali lebih mahal.

Berikutnya kuota gratis. Pengguna PRO mendapat 2 dolar per bulan, sedangkan organisasi Team dan Enterprise mendapat 2 dolar per bulan untuk setiap seat. Dengan harga output rata-rata model open source, 2 dolar setara sekitar 1,2 juta token output; jika semuanya dipakai untuk model tertutup, hanya cukup untuk sekitar 300 ribu. Kuota sekecil ini cocok untuk uji coba dan eksperimen kecil, sedangkan untuk produksi tetap harus membayar terpisah.

“Tanpa markup” menghemat satu lapisan perantara bagi pengguna, dengan syarat harga asli penyedia memang sudah cocok. Setelah kunci milik sendiri dimatikan, tim yang sudah menegosiasikan diskon atau punya saldo prabayar di suatu penyedia tidak bisa memakai ketentuan itu saat memanggil lewat Hugging Face, dan harus kembali ke antarmuka penyedia itu sendiri.

Posisi OpenRouter

Menurut angka yang dikutip blog Hugging Face, OpenRouter memproses lebih dari 800 triliun token per bulan, memiliki lebih dari 10 juta pengguna, dan menghubungkan lebih dari 600 model dari lebih dari 80 penyedia. Hasil pengukuran OpenRouter sendiri menunjukkan bahwa setelah perutean ditulis ulang, galat akibat kapasitas kurang turun 46%, latensi token pertama membaik 16,9%, dan throughput naik 16,3%. Semua ini data sepihak dari OpenRouter dan belum diverifikasi pihak ketiga.

OpenRouter mengumumkan pada Agustus tahun ini bahwa mereka bergabung dengan Stripe. Hugging Face adalah platform hosting model open source terbesar di dunia; dengan menyerahkan pintu masuk inferensi model bahasa kepada layanan perutean milik perusahaan pembayaran, volume panggilan model open source di Hub kini juga akan melewati buku besar OpenRouter.

Blog mencantumkan dua rencana lanjutan: dukungan untuk menautkan akun OpenRouter ke Hugging Face, dan perutean lebih banyak jenis tugas lewat OpenRouter. Keduanya belum disertai jadwal.

Sumber: CocoLoop, blog resmi Hugging Face, materi publik OpenRouter; harga rata-rata model open source dan tertutup serta kuota gratis mengikuti blog Hugging Face, sedangkan angka performa perutean adalah hasil pengukuran OpenRouter sendiri.