A Perplexity quer levar parte do trabalho de IA de volta ao computador do usuário. Na Computex de Taipei, em 2 de junho, o CEO Aravind Srinivas apareceu ao lado do CEO da Intel, Lip-Bu Tan, para mostrar o que a empresa chama de hybrid agentic inference.
A ideia é rodar um modelo local leve como despachante. Tarefas simples, como resumir um documento local, ajustar formatação ou fazer classificação leve, ficam no PC; raciocínios mais complexos vão para a nuvem. Dados sensíveis, como registros financeiros ou de saúde, permanecem locais sempre que possível e exigem confirmação antes de sair.
A primeira versão está prevista para julho dentro do Perplexity Computer, começando pelo aplicativo para Windows PC. A demonstração usou Intel Core Ultra Series 3, mas a Perplexity disse que a abordagem é independente de chip e também pode funcionar com processadores Nvidia.
A lógica de custo é direta. Srinivas afirmou que ninguém deveria centralizar toda a computação em servidores e que algumas empresas gastam meio bilhão de dólares por mês. Dividir trabalho entre PC local e modelos em nuvem pode reduzir a pressão de inferência e dar às empresas uma história melhor de governança de dados.
Fontes: VentureBeat, Decrypt, 9to5Mac, CocoLoop.