GLM-4.5 của Zhipu AI đã thực hiện một hành động mang nhiều ý nghĩa tín hiệu — được tối ưu hóa đặc biệt cho NVIDIA H20 (GPU phiên bản đặc biệt dành cho Trung Quốc), chỉ cần 8 thẻ là có thể chạy toàn bộ mô hình.
Tại sao điều này đáng chú ý
Sau khi Mỹ áp đặt các hạn chế xuất khẩu chip đối với Trung Quốc, GPU NVIDIA tốt nhất mà các công ty AI Trung Quốc có thể mua được là H20 — một phiên bản đã bị "cắt giảm" băng thông tính toán liên kết. Nhiều mô hình tiên tiến nước ngoài không thể chạy trên H20 hoặc hoạt động với hiệu suất rất thấp.
Zhipu đã chọn đối mặt trực tiếp với ràng buộc này, điều chỉnh kiến trúc mô hình và quy trình suy luận để phù hợp với đặc điểm phần cứng của H20. Chi phí và rào cản của 8 thẻ H20 thân thiện hơn nhiều so với các giải pháp yêu cầu hàng chục hoặc hàng trăm thẻ A100.
Thích ứng kỹ thuật
Các tối ưu hóa cụ thể bao gồm:
- Điều chỉnh phương pháp tính toán attention dựa trên đặc điểm băng thông bộ nhớ của H20
- Chiến lược phân mảnh mô hình được thiết kế đặc biệt cho cấu hình 8 thẻ
- Phương án lượng tử hóa trong giai đoạn suy luận được điều chỉnh phù hợp với độ chính xác tính toán của H20
Hiệu suất
GLM-4.5 thể hiện ở hàng đầu trong nước về các tác vụ hiểu và sinh văn bản tiếng Trung. Nó ngang bằng hoặc gần với các mô hình cấp GPT-4 trên hầu hết các benchmark tiếng Trung. Có khoảng cách về các tác vụ tiếng Anh, nhưng khoảng cách đang thu hẹp.
Quan trọng hơn là chi phí triển khai thực tế — đối với các doanh nghiệp trong nước, có thể sử dụng phần cứng hợp pháp để đạt được hiệu quả gần như hàng đầu, giá trị thực tế này quan trọng hơn nhiều so với điểm số benchmark.
Tác động ngành
Cách làm của Zhipu đại diện cho một hướng tiếp cận của ngành AI Trung Quốc để đối phó với các hạn chế chip: không chờ đợi phần cứng tốt nhất, mà sử dụng phần cứng hiện có để đạt hiệu quả tốt nhất.
Điều này cùng chung mạch với chiến lược của DeepSeek trong việc sử dụng sức mạnh tính toán hạn chế để đẩy chi phí xuống cực thấp. Khi các điều kiện bên ngoài bị hạn chế, khả năng tối ưu hóa kỹ thuật bị ép buộc có thể trở thành lợi thế cạnh tranh lâu dài.
Nguồn tham khảo: CocoLoop, thông báo chính thức từ Zhipu AI