리퀴드AI, 3억대 드래프트로 최대 3.18배 가속

8월 20일, 리퀴드AI(Liquid AI)는 허깅페이스에 LFM2.5-DSpark 드래프트 모델 세트를 공개하고 자사 모델 세 종—LFM2.5-1.2B-Instruct, 2.6B, 8B-A1B—에 추측 디코딩(speculative decoding)을 적용했다. 공식 발표에 따르면 최대 3.18배의 속도 향상을 달성했으며, 출력 결과는 원본 모델과 완전히 동일하다.

추측 디코딩의 아이디어 자체는 단순하다. 작은 모델이 먼저 다음 몇 개 토큰을 예측하면, 큰 모델은 토큰을 하나씩 계산하는 대신 이 후보 시퀀스를 한 번의 순전파(forward pass)로 일괄 검증한다. 예측이 맞으면 그대로 채택하고, 틀렸을 때만 다시 계산한다. 절약되는 시간은 결국 가중치를 반복해서 옮기는 데 드는 시간이다.

655MB로 두세 배 속도를

이번에 리퀴드AI가 짝지은 드래프트 모델은 모두 매우 작다. 1.2B 버전에는 2억 9570만 파라미터짜리 드래프트 모델이 대응하며, 2.6B와 8B-A1B는 3억 2770만 파라미터 버전을 공유한다. 구조는 5개 층의 풀 어텐션, 은닉 차원 2048, 중간층 6144이며, 32개의 쿼리 헤드가 8개의 KV 그룹을 공유하고 한 번에 9개의 후보 토큰을 제안한다. BF16 정밀도 기준 메모리 사용량은 655MB다.

16GB 메모리 맥(Mac)을 기준으로 대략 계산하면, 655MB는 전체 메모리의 약 4%에 해당한다. 그 대가로 로컬 대화 응답 속도는 두 배 넘게 빨라진다. 온디바이스 환경에서는 이 교환 비율이 상당히 합리적이다. 온디바이스에서 정말 부족한 건 최고 연산 성능이 아니라 대기 중에 발생하는 그 몇 초의 공백이기 때문이다.

수치는 어떤 하드웨어냐에 달렸다

공식 벤치마크는 두 가지 환경으로 나뉘며, 결과 차이는 결코 작지 않다.

제목에 나온 3.18배라는 수치는 8B-A1B가 H100에서 기록한 최고치다. 같은 모델을 M4 Max 노트북으로 옮기면 1.18배로 떨어진다. 리퀴드AI는 그 이유를 직접 밝혔다. llama.cpp의 Metal 백엔드가 현재 혼합 전문가(MoE) 구조 구현이 충분하지 않아, 온디바이스에서의 MoE가 이 방식의 약점이라는 것이다.

수락률(acceptance rate) 데이터도 함께 공개됐다. 8B-A1B는 MATH500에서 후보 토큰 10개 중 평균 8.27개가 채택되지만, GSM8K에서는 4.02개에 그친다. 수학 증명처럼 구조가 정형화돼 있고 예측 가능성이 높은 텍스트는 드래프트 모델이 정확히 맞히기 쉽지만, 초등학교 문장제처럼 표현이 자유로운 유형으로 바뀌면 적중률이 곧바로 절반으로 떨어진다.

실제 활용에 더 가까운 데이터도 있다. 다중 도구 함수 호출 시나리오에서 2.6B 버전의 지연 시간이 평균 57% 감소했다. 에이전트는 매 단계마다 모델이 구조화된 호출을 내놓기를 기다려야 하며, 이런 왕복 처리는 지연 시간이 누적되는 데 가장 취약하다.

이 방식은 어디서 왔나

DSpark라는 이름은 리퀴드AI가 지은 것이 아니다. 이는 올해 6월 말 딥시크(DeepSeek)가 베이징대와 공동으로 오픈소스로 공개한 연구에서 나왔다. 병렬 드래프트 백본에 경량 마르코프 헤드를 결합하고, 여기에 GPU의 실시간 부하에 따라 검증 길이를 조정하는 메커니즘을 더한 것이다. 당시 발표된 수치는 단일 사용자 생성 속도가 60~85% 향상됐고, 엄격한 지연 목표 아래 단일 GPU 처리량이 최대 6.6배까지 늘었다는 것이었다.

두 달 뒤, 이 방식은 한 미국 온디바이스 모델 기업의 발표에 등장했다. SGLang은 --speculative-algorithm DSPARK 인자 하나만 추가하면 활성화되며, llama.cpp는 공개 첫날부터 Metal 백엔드에서 FP16 GGUF를 지원했다. 상위 프레임워크가 알고리즘 이름을 그대로 명령줄 스위치 값으로 써넣었다는 사실 자체가, 이 방식이 이미 사실상의 표준으로 자리 잡았음을 보여준다.

중국 내 연구소들은 최근 몇 년간 추론 쪽 엔지니어링 성과를 다수 오픈소스로 공개해 왔지만, 논의는 대부분 GPU 비용을 절약할 수 있는지에 집중됐다. 이번 DSpark의 파급 효과는 다른 종류의 보상을 보여준다. 방식이 남의 기본 경로에 들어갔고, 앞으로 그 프레임워크를 기반으로 한 모든 배포가 자신의 아이디어 위에서 돌아가게 된다는 것이다.

라이선스가 그은 선

가중치는 Safetensors와 GGUF 두 형식으로 공개되며, LFM 오픈 라이선스 1.0을 따른다. 연간 매출 1000만 달러 미만인 주체는 무료로 상업적 이용이 가능하고, 이 기준을 넘으면 별도로 상업용 계약을 협의해야 한다. 배포 방식은 자체 호스팅뿐이며, 리퀴드AI는 호스팅 API를 제공하지 않는다.

이 선은 스타트업과 중대형 기업 사이에 정확히 그어져 있으며, 의도는 꽤 분명하다. 무료 등급으로 개발자의 기본 선택지를 확보하고, 수익은 지불 여력이 있는 계층에서 거두겠다는 것이다.

참고 출처: 허깅페이스 공식 블로그, 리퀴드AI 모델 카드, CocoLoop, MarkTechPost. 가속 배수, 파라미터 수, 수락률 데이터는 공식 벤치마크 표를 기준으로 하며, 라이선스 조항은 모델 페이지를 기준으로 한다.