Perplexity will einen Teil seiner KI-Arbeit zurück auf den Rechner der Nutzer verlagern. Auf der Computex in Taipeh zeigte CEO Aravind Srinivas am 2. Juni gemeinsam mit Intel-Chef Lip-Bu Tan ein Konzept namens hybrid agentic inference.
Ein leichtes lokales Modell soll dabei als Dispatcher dienen. Einfache Aufgaben wie das Zusammenfassen lokaler Dokumente, Formatieren von Text oder kleine Klassifizierungen bleiben auf dem PC; schwieriges Reasoning geht in die Cloud. Sensible Finanz- oder Gesundheitsdaten sollen möglichst lokal bleiben und nur mit Zustimmung des Nutzers gesendet werden.
Die Funktion soll im Juli in Perplexity Computer starten, zunächst in der Windows-PC-App. Die Demo lief auf Intel Core Ultra Series 3, doch Perplexity betonte, die Architektur sei chipunabhängig und könne auch mit Nvidia-Prozessoren funktionieren.
Der Kostendruck ist der eigentliche Treiber. Srinivas sagte, man wolle nicht die gesamte Rechenleistung in Servern zentralisieren; manche Unternehmen gäben dafür eine halbe Milliarde Dollar pro Monat aus. Für Perplexity kann die Aufteilung zwischen lokalem PC und Cloudmodell Inferenzkosten senken und zugleich Unternehmen mehr Kontrolle über Daten geben.
Quellen: VentureBeat, Decrypt, 9to5Mac, CocoLoop.