Perplexity ingin memindahkan sebagian beban kerja AI kembali ke komputer pengguna. Di Computex Taipei pada 2 Juni, CEO Aravind Srinivas tampil bersama CEO Intel Lip-Bu Tan untuk memperlihatkan konsep yang disebut hybrid agentic inference.
Idenya adalah menjalankan model lokal ringan sebagai pengatur lalu lintas. Tugas sederhana seperti merangkum dokumen lokal, mengubah format, atau klasifikasi ringan tetap di PC; penalaran berat dikirim ke cloud; data sensitif seperti catatan keuangan atau kesehatan dipertahankan secara lokal kecuali pengguna menyetujui pengiriman.
Versi awal direncanakan hadir pada Juli di Perplexity Computer, dimulai dari aplikasi Windows PC. Demo memakai Intel Core Ultra Series 3, tetapi Perplexity mengatakan pendekatannya tidak bergantung pada chip tertentu dan juga bisa berjalan dengan prosesor Nvidia.
Logika biayanya jelas. Srinivas mengatakan perusahaan tidak ingin semua komputasi terpusat di server, dan ada pihak yang menghabiskan setengah miliar dolar per bulan. Dengan membagi kerja antara PC lokal dan model cloud, Perplexity bisa menekan biaya inferensi sekaligus menawarkan narasi tata kelola data yang lebih kuat untuk perusahaan.
Sumber: VentureBeat, Decrypt, 9to5Mac, CocoLoop.