Chiến lược AI của Apple khác biệt so với các hãng khác — không chạy đua mô hình tổng quát mạnh nhất, mà tập trung vào triển khai trên thiết bị và bảo vệ quyền riêng tư.
Mô hình trên thiết bị: 3 tỷ tham số
Tại WWDC 2025, Apple công bố Apple Foundation Models (AFM), phiên bản trên thiết bị có khoảng 3 tỷ tham số, được tối ưu hóa riêng cho Apple Silicon.
Một số công nghệ chính:
- Chia sẻ KV-cache: Mô hình được chia thành hai block (tỷ lệ độ sâu 5:3), block sau tái sử dụng trực tiếp KV cache của block trước, giảm 37,5% bộ nhớ.
- Huấn luyện nhận thức lượng tử 2-bit: Trọng số nén xuống 2 bit, lớp embedding 4 bit, KV cache 8 bit.
- Bộ điều hợp hạng thấp: Bù đắp tổn thất độ chính xác do lượng tử hóa.
Kết quả cuối cùng: Mô hình 3 tỷ tham số được nén để chạy mượt trên iPhone, đồng thời duy trì khả năng đủ tốt.
Mô hình máy chủ: PT-MoE
Các tác vụ phức tạp không xử lý được trên thiết bị sẽ được gửi lên máy chủ, nhưng sử dụng Private Cloud Compute của riêng Apple — chạy trên máy chủ đám mây với chip tự thiết kế của Apple, dữ liệu không rời khỏi vùng an toàn của Apple.
Kiến trúc máy chủ có tên Parallel-Track MoE, bao gồm nhiều "đường ray" Transformer nhỏ hơn xử lý token song song, chỉ đồng bộ hóa ở đầu vào và đầu ra. Chi phí đồng bộ giảm 87,5%.
Ưu tiên quyền riêng tư
Thứ tự ưu tiên trong thiết kế của Apple rất rõ ràng:
- Xử lý trên thiết bị nếu có thể
- Bắt buộc lên đám mây thì dùng Private Cloud Compute
- Hỗ trợ 15 ngôn ngữ, hiểu đầu vào văn bản và hình ảnh
Điều này trái ngược hoàn toàn với hướng tiếp cận "mọi thứ lên đám mây" của OpenAI, Anthropic và Google. Apple đặt cược rằng: người dùng sẵn sàng hy sinh một số khả năng để đổi lấy quyền riêng tư.
Nhà phát triển cũng có lợi — Apple mở khung Foundation Models, cho phép ứng dụng bên thứ ba gọi trực tiếp mô hình trên thiết bị. Tuy nhiên, khả năng vẫn còn khoảng cách so với mô hình đám mây cấp GPT-4, phù hợp hơn với các tác vụ xử lý và hiểu văn bản nhẹ.
Nguồn tham khảo: CocoLoop, Apple Machine Learning Research