클라우드 대형 모델로 성장한 Perplexity가 일부 AI 작업을 다시 사용자의 PC로 돌리려 한다. 6월 2일 타이베이 Computex에서 CEO Aravind Srinivas는 Intel CEO Lip-Bu Tan과 함께 하이브리드 에이전트 추론을 공개했다.
핵심은 가벼운 로컬 모델을 PC에서 조정자처럼 돌리는 것이다. 로컬 문서 요약, 서식 정리, 간단한 분류는 PC에서 처리하고, 고난도 추론만 클라우드로 보낸다. 금융 기록이나 건강 정보 같은 민감한 데이터는 가능한 한 로컬에 남기며, 클라우드 전송이 필요할 때는 사용자 확인을 거친다.
이 기능은 7월 Perplexity Computer에 들어가며 Windows PC 앱에서 먼저 제공될 예정이다. 시연에는 Intel Core Ultra Series 3가 쓰였지만, Perplexity는 칩에 종속되지 않는 구조라며 Nvidia 프로세서도 지원할 수 있다고 설명했다.
배경에는 비용 문제가 있다. Srinivas는 모든 컴퓨팅을 서버에 집중시키는 것은 바람직하지 않으며, 어떤 회사는 한 달에 5억 달러를 쓴다고 말했다. 로컬 PC와 클라우드로 작업을 나누면 Perplexity는 추론 비용을 낮추고 기업에는 데이터 거버넌스 명분을 줄 수 있다.
출처: VentureBeat, Decrypt, 9to5Mac, CocoLoop.