Perplexity đang muốn đưa một phần khối lượng AI trở lại máy tính của người dùng. Tại Computex Đài Bắc ngày 2 tháng 6, CEO Aravind Srinivas xuất hiện cùng CEO Intel Lip-Bu Tan để giới thiệu cơ chế gọi là hybrid agentic inference.
Cốt lõi là chạy một mô hình cục bộ nhẹ trên PC như bộ điều phối. Những việc đơn giản như tóm tắt tài liệu có sẵn, chỉnh định dạng hoặc phân loại nhẹ sẽ xử lý tại máy; các bài toán suy luận nặng mới chuyển lên đám mây; dữ liệu nhạy cảm như tài chính hoặc sức khỏe được giữ lại cục bộ trừ khi người dùng đồng ý gửi đi.
Phiên bản đầu tiên dự kiến ra mắt trong tháng 7 trong Perplexity Computer, trước hết trên ứng dụng Windows PC. Phần trình diễn dùng Intel Core Ultra Series 3, nhưng Perplexity nói kiến trúc không phụ thuộc chip và cũng có thể hỗ trợ bộ xử lý Nvidia.
Lý do nằm ở chi phí. Srinivas nói không nên tập trung toàn bộ tính toán trên máy chủ, và có công ty chi tới nửa tỷ USD mỗi tháng. Chia việc giữa PC cục bộ và mô hình đám mây có thể giúp Perplexity giảm áp lực suy luận, đồng thời khiến doanh nghiệp yên tâm hơn về quản trị dữ liệu.
Nguồn tham khảo: VentureBeat, Decrypt, 9to5Mac, CocoLoop.