애플의 AI 전략은 다른 회사들과 확연히 다릅니다. 가장 강력한 범용 모델을 쫓기보다 온디바이스 배포와 개인정보 보호에 중점을 둡니다.
온디바이스 모델: 3B 파라미터
2025년 WWDC에서 애플은 Apple Foundation Models(AFM)을 공개했습니다. 온디바이스 버전은 약 30억 개의 파라미터를 가지며 Apple Silicon에 특별히 최적화되었습니다.
주요 기술은 다음과 같습니다.
- KV-캐시 공유: 모델을 두 개의 블록(깊이 비율 5:3)으로 나누고, 뒤쪽 블록이 앞쪽 블록의 KV 캐시를 직접 재사용하여 메모리 사용량을 37.5% 줄입니다.
- 2비트 양자화 인식 학습: 가중치는 2비트, 임베딩 레이어는 4비트, KV 캐시는 8비트로 압축합니다.
- 저랭크 어댑터: 양자화로 인한 정확도 손실을 보상합니다.
결과적으로 3B 파라미터 모델이 아이폰에서 원활하게 실행될 수 있도록 압축되면서도 충분한 성능 수준을 유지합니다.
서버사이드 모델: PT-MoE
온디바이스에서 처리할 수 없는 복잡한 작업은 서버로 전송되지만, 애플 자체 Private Cloud Compute를 사용합니다. 이는 애플 자체 설계 칩을 탑재한 클라우드 서버에서 실행되며, 데이터는 애플의 보안 영역을 벗어나지 않습니다.
서버사이드 아키텍처는 Parallel-Track MoE라고 불리며, 여러 개의 소형 Transformer "트랙"이 토큰을 병렬로 처리하고 입력 및 출력 경계에서만 동기화합니다. 동기화 오버헤드는 87.5% 감소했습니다.
개인정보 보호 우선
애플의 설계 우선순위는 명확합니다.
- 가능하면 온디바이스에서 처리합니다.
- 클라우드로 보내야 하는 작업은 Private Cloud Compute를 사용합니다.
- 15개 언어를 지원하고 텍스트 및 이미지 입력을 이해합니다.
이는 OpenAI, Anthropic, Google의 "모든 것을 클라우드로"라는 접근 방식과 뚜렷한 대조를 이룹니다. 애플은 사용자가 개인정보 보호를 위해 어느 정도의 성능을 희생할 의향이 있다고 판단하고 있습니다.
개발자에게도 혜택이 있습니다. 애플은 Foundation Models 프레임워크를 공개하여 서드파티 앱이 온디바이스 모델을 직접 호출할 수 있도록 했습니다. 다만 성능은 GPT-4 수준의 클라우드 모델에는 미치지 못하므로, 가벼운 텍스트 처리 및 이해 작업에 더 적합합니다.
출처: CocoLoop, Apple Machine Learning Research