DeepInfra mengumumkan pada 4 Mei bahwa mereka memperoleh pendanaan Seri B sebesar US$107 juta. Nilainya bukan yang paling besar di dunia infrastruktur AI, tetapi daftar investornya memberi sinyal yang kuat.
Putaran ini dipimpin oleh 500 Global, dengan partisipasi Nvidia Corp., Samsung Next, Supermicro, A.Capital, Felicis, Peak6, Upper90, serta Georges Harik, salah satu insinyur awal Google.
Nvidia yang berinvestasi langsung di startup "cloud inferensi" independen adalah sesuatu yang beberapa tahun lalu masih jarang terlihat. Saat itu, inferensi sebagian besar terserap ke dalam cloud milik raksasa teknologi. Pada 2026, Nvidia mulai menaruh modal di lapisan infrastruktur inferensi yang berdiri sendiri. Artinya, lapisan ini sudah menjadi pasar tersendiri.
Sejauh mana DeepInfra sudah berkembang
CEO DeepInfra Nikola Borisov menyampaikan pesan yang cukup jelas dalam pengumuman tersebut:
"Inference is no longer a thin layer - it's the system constraint that will define the majority of workloads."
Dengan kata lain, inferensi bukan lagi sekadar lapisan API tipis. Ia menjadi hambatan sistem yang akan menentukan sebagian besar beban kerja berikutnya.
- Mendukung lebih dari 190 model AI terbuka, termasuk Llama, Qwen, DeepSeek, dan Mistral.
- Lebih dari 30% throughput token berasal dari beban kerja agen, yakni autonomous agents, bukan percakapan biasa.
- Delapan pusat data di Amerika Serikat menjalankan infrastruktur GPU milik sendiri dengan platform inferensi terdistribusi Nvidia Dynamo.
- Kombinasi GPU mencakup Blackwell dan Vera Rubin. Vera Rubin baru diproduksi massal tahun ini, sehingga akses ke lini itu menunjukkan hubungan yang kuat dengan Nvidia.
- Perusahaan juga menyebut memproses 5 triliun token per minggu, volume tokennya naik 25 kali sejak Seri A, dan pendapatannya naik tiga kali lipat sejak awal 2026.
Angka 30% adalah bagian paling penting. Alur kerja agen berbeda dari chatbot. Satu tugas dapat memanggil seratus alat dan menjalankan puluhan permintaan API. Bebannya selalu aktif, bukan hanya bergerak setelah pengguna mengetik satu kalimat. Cloud tradisional tidak dirancang untuk pola seperti ini, karena model biaya, asumsi cold start, dan algoritme penjadwalannya dibangun untuk interaksi manusia.
Mengapa memiliki GPU sendiri tiba-tiba penting
Inti cerita pendanaan ini sebenarnya sederhana: DeepInfra tidak menyewa GPU dari AWS; mereka membeli dan mengoperasikannya sendiri.
Selama beberapa tahun, cara standar menjalankan inferensi AI adalah menyewa layanan GPU dari AWS, GCP, atau Azure. Masalahnya, tiga perusahaan itu juga menjual API model mereka sendiri, dengan harga yang tidak murah dan latensi cold start yang masih terasa. Together, Fireworks, Groq, dan DeepInfra tumbuh bersama dalam dua tahun terakhir karena masuk ke celah tersebut.
DeepInfra mengklaim peningkatan efisiensi biaya 20 kali lipat. Angka ini perlu dibaca hati-hati karena bergantung pada pembandingnya. Namun bagi tim yang menjalankan model terbuka dalam volume besar, misalnya produk dengan jutaan pengguna aktif bulanan, pindah ke cloud inferensi khusus sering kali dapat memangkas tagihan lebih dari separuh.
Peta persaingan cloud inferensi
| Perusahaan | Ciri utama |
|---|---|
| Together AI | Platform full-stack dengan alternatif CUDA buatan sendiri |
| Fireworks AI | Terkait erat dengan ekosistem Hugging Face |
| Groq | Berbasis chip LPU khusus, pernah menarik perhatian Nvidia dan AMD |
| Cerebras | Chip wafer-scale besar dan bergerak menuju pasar publik |
| DeepInfra | Delapan pusat data yang dioperasikan sendiri, lebih dari 190 model terbuka, fokus pada skenario agen |
DeepInfra bukan perusahaan dengan valuasi paling mencolok di kelompok ini, tetapi posisinya sangat jelas: infrastruktur inferensi untuk model terbuka. Mereka tidak menjadi broker model tertutup dan tidak ikut bertarung di lapisan model. Perbandingan terdekatnya adalah Together, dengan satu perbedaan penting: DeepInfra memegang kendali lebih penuh atas stack, dari GPU, penjadwalan, hingga API.
Agen adalah taruhan sebenarnya
Kalimat Borisov bahwa inferensi adalah batasan sistem bukan sekadar bahasa pemasaran.
Ketika alur kerja agen menjadi arus utama, setiap pengguna dapat memicu puluhan inferensi per menit di belakang layar. Cursor menulis kode, Claude Code mengubah file, atau Agentforce dari Salesforce menangani tiket layanan pelanggan; semua itu memiliki profil beban yang sangat berbeda dari pola ChatGPT ketika pengguna bertanya sekali dan model menjawab sekali.
Penyedia yang mampu menjaga latensi p99 tetap rendah, menekan biaya, dan menjamin zero data retention dalam kondisi seperti itu akan lebih mudah memenangkan kontrak perusahaan.
Dalam narasi pendanaan terbaru DeepInfra, frasa "agentic workloads" muncul lebih sering dibanding putaran sebelumnya. Dalam setahun ke depan, pasar ini tidak hanya akan menilai siapa yang punya katalog model terluas, tetapi siapa yang infrastrukturnya sanggup menahan skenario ribuan agen memanggil inferensi secara bersamaan.
Keputusan Nvidia untuk ikut berinvestasi menunjukkan bahwa mereka mungkin melihat skenario itu benar-benar mendekat.
Sumber: DeepInfra Closes $107M Series B to Power Production-Scale AI Inference (GlobeNewswire); Deepinfra lands $107M in funding to build out its dedicated inference cloud for open-source models (SiliconANGLE); CocoLoop; DeepInfra Raises $107M Series B to Scale Inference Infrastructure (DeepInfra Blog)