クラウド大規模モデルで伸びたPerplexityが、処理の一部をユーザーのPCへ戻そうとしている。6月2日の台北Computexで、CEOのAravind SrinivasはIntel CEOのLip-Bu Tanと登壇し、hybrid agentic inferenceと呼ぶ仕組みを披露した。
中核は、軽量なローカルモデルを交通整理役としてPC上で動かすことだ。ローカル文書の要約、整形、軽い分類はPC内で処理し、複雑な推論だけをクラウドへ送る。財務記録や健康情報のような機微データは原則ローカルに残し、送信が必要な場合はユーザーの確認を挟む。
この機能は7月にPerplexity Computerへ入り、まずWindows PCアプリで提供される予定だ。デモにはIntel Core Ultra Series 3が使われたが、Perplexityはチップ非依存を強調し、Nvidiaのプロセッサでも動くとしている。
背景にあるのは推論コストだ。Srinivasは、すべての計算をサーバーに集中させるべきではなく、月に5億ドルを使う企業もあると語った。ローカルPCとクラウドに仕事を分ければ、Perplexityはコスト圧力を下げつつ、企業にデータガバナンス上の安心材料を示せる。
参考資料：VentureBeat、Decrypt、9to5Mac、CocoLoop。