Bộ phận nghiên cứu của VentureBeat đã tổng hợp ba đợt khảo sát VB Pulse thực hiện từ tháng 7 đến tháng 9. Kết quả cho thấy năng lực tính toán AI của doanh nghiệp đang nhàn rỗi trên diện rộng, trong khi kế hoạch mua sắm không hề chậm lại. Đối tượng khảo sát là 385 người trả lời đủ điều kiện thuộc các tổ chức có từ 100 nhân viên trở lên, trong đó có cả các nhà tư vấn trả lời thay cho khách hàng chính của họ; 218 người báo cáo về mức sử dụng GPU.
79% (172 trên 218 người) cho biết GPU của họ bận không quá một nửa thời gian, và tỷ lệ này dao động trong khoảng 77% đến 81% qua ba tháng. Ngay trong nhóm doanh nghiệp có GPU nhàn rỗi này, 70% (120 trên 172 doanh nghiệp) dự định đưa vào nền tảng tính toán AI bổ sung hoặc thay thế trong 12 tháng tới.
GPU bận hay rảnh, nhu cầu mua cũng chẳng khác mấy
Trong 46 doanh nghiệp có GPU bận rộn hơn, 74% dự định bổ sung nền tảng mới. Bài viết nhận định khoảng cách giữa 70% và 74% không có ý nghĩa thống kê, nghĩa là mức sử dụng cao hay thấp gần như không ảnh hưởng đến ý định mua sắm.
Hướng mua nền tảng mới cũng khá tập trung. Trong 120 doanh nghiệp có GPU nhàn rỗi nhưng định bổ sung nền tảng, 90% nêu tên nền tảng đám mây hoặc nhà cung cấp mô hình, chỉ 8% định đầu tư cụm máy tại chỗ hoặc cụm thuê ngoài, hay ngăn xếp mã nguồn mở tự quản lý.
Sự tương phản xuất hiện ở phía tự xây dựng. Trong 32 công ty vận hành cụm máy tại chỗ hoặc cụm thuê ngoài, hay ngăn xếp mã nguồn mở tự quản lý, tỷ lệ có GPU nhàn rỗi ít nhất một nửa thời gian là 56%; ở 186 công ty còn lại là 83%. Khảo sát không hỏi nguyên nhân, và lời giải thích của tác giả cũng được ghi rõ chỉ là suy đoán.
Nhận định "chín phần mười khoản đầu tư không qua kiểm toán tài chính" xuất phát từ số liệu của riêng tháng 9: trong 64 doanh nghiệp định bổ sung nền tảng mới, 58 doanh nghiệp (91%) không đưa ra được con số hoàn vốn đầu tư đã được bộ phận tài chính xác nhận. Mẫu này chỉ thuộc một tháng và vài chục công ty, còn các tháng khác không hỏi cùng câu này.
Ước tính thô cái giá của sự nhàn rỗi
Mức sử dụng tác động đến chi phí đơn vị theo quan hệ nghịch đảo. Giả sử thuê một GPU cao cấp giá 2 USD mỗi giờ-card, một máy chủ 8 card có tiền thuê cả năm khoảng 140.000 USD (tính thô: 8 card × 8.760 giờ × 2 USD). Ở mức sử dụng 80%, mỗi giờ-card thực sự làm việc tốn khoảng 2,5 USD; tụt xuống 40% thì thành 5 USD. Để có cùng lượng năng lực tính toán hữu ích, mỗi năm phải trả thêm khoảng 140.000 USD, tương đương thuê thêm một máy chủ nữa.
Ở phía hóa đơn, chi phí cũng đang tăng. Bài viết dẫn dự báo của Gartner rằng đến năm 2028, chi phí suy luận cho mỗi quy trình tác tử sẽ tăng hơn năm lần; Vals AI đo được chi phí của một nhóm tác tử lập trình đa tác tử gấp từ 1,8 đến 5,1 lần một tác tử đơn lẻ, và trong bốn cấu hình nhóm chỉ có một cấu hình đạt cải thiện có ý nghĩa thống kê trên bài kiểm tra chuẩn.
Một cách tiết kiệm là dùng bộ nhớ đệm. Theo một tài liệu hướng dẫn của Nvidia, 85% đến 97% ngữ cảnh trong các lần gọi tiếp theo của một phiên Claude Code có thể được tái sử dụng từ bộ nhớ đệm; Anthropic tính phí token trong bộ nhớ đệm bằng từ một phần bốn mươi đến một phần mười giá đầu vào thông thường, tùy mô hình. Giám đốc công nghệ của Uber, Praveen Neppalli Naga, đã nói với Fortune hồi tháng 8 một câu như sau:
"we're coming to the end of the so-called tokenmaxxing era" (kỷ nguyên được gọi là đốt token bất chấp chi phí sắp kết thúc)
Giới hạn của mẫu khảo sát
Những con số này cần được nhìn với sự dè dặt. Người trả lời là độc giả của VentureBeat và những người tự nguyện tham gia bảng khảo sát, nên không đại diện cho toàn bộ doanh nghiệp; khảo sát không hỏi GPU là tự sở hữu hay đi thuê, doanh nghiệp có thể trực tiếp điều phối hay không, cũng không phân biệt phần dự phòng được chủ ý giữ lại cho các đợt cao điểm lưu lượng; nền tảng mới trong kế hoạch cũng có thể chỉ để thay thế nền tảng cũ. Những người trả lời hồi tháng 7 đã chọn nhiều phương án về mức sử dụng, cũng như các doanh nghiệp không đo lường việc sử dụng GPU, đều không được tính vào.
Ngoài ra, báo cáo này đồng thời quảng bá hội nghị thượng đỉnh về hạ tầng tác tử do chính VentureBeat tổ chức, với các nhà tài trợ gồm WEKA, Outshift thuộc Cisco và OneTrust.
Nguồn tham khảo: báo cáo khảo sát VentureBeat Intelligence, Gartner, CocoLoop, Vals AI; đã đối chiếu số mẫu về mức sử dụng GPU, tỷ lệ phần trăm của từng nhóm và cách xác định ý nghĩa thống kê.