온디바이스 모델 업체 Edge0는 11월 12일 Edge0-145B와 Edge0-120B를 오픈소스로 공개하고, 통합 추론 프레임워크와 배포 도구도 함께 내놓았다. 회사 측은 145B가 파라미터 1450억 개에 도달한 최초의 오픈소스 온디바이스 모델이라고 밝혔다. 목표 기기는 서버가 아닌 개인용 노트북이다.
출시 시점에는 macOS, Windows, Linux를 지원하며, 애플 M 시리즈 칩과 엔비디아 RTX Spark, RTX 4090, RTX 5090 등을 포괄한다. 가중치는 Hugging Face에, 추론 프레임워크는 GitHub에 올라 있다. 계정이 필요 없고 사용량 제한도 없는 데스크톱 앱도 제공되며, 핵심 기능은 오프라인에서 쓸 수 있다.
벤치마크 비교 대상은 ‘Flash’급 클라우드 모델
Edge0가 공개한 성적을 보면 DeepSWE 1.1에서 64.6점으로, Qwen3.8-Flash-Next의 58.7점, DeepSeek-V4-Flash-0731의 54.4점을 웃돈다. Terminal-Bench 2.1은 86.52점으로 두 모델의 83.3점, 82.7점보다 높다. GPQA-Diamond는 90.4점으로 DeepSeek-V4-Flash-0731의 90.8점에 약간 못 미치고, HLE는 35.4점으로 Qwen3.8-Flash-Next의 35.9점보다 약간 낮다.
이 점수에는 전제가 있다. Edge0, Qwen, DeepSeek, Claude의 결과는 모두 Edge0 내부 평가에서 나온 것이며, 전체 테스트 환경과 재현 방법은 기술 보고서와 함께 공개될 예정이다. 비교표에 들어간 Claude는 Opus 4.6 (Max)로 비교적 이전 세대이고, 현재 플래그십은 이미 갱신됐다. 제3자 재검증이 나오기 전까지 이 표는 업체 자체 발표치로 봐야 한다.
회사가 앞서 내놓은 스마트폰용 모델과 비교하면 도약 폭이 크다. 9월에 공개된 Edge0-35B는 iPhone 18 Pro Max에서 메모리 약 2.5GB를 쓰며 초당 37토큰 이상으로 동작한다. 145B는 파라미터 규모가 그 약 네 배이고 노트북에서 돌아간다. Edge0는 애플의 온디바이스 기반 모델이 약 3B, 구글 Gemini Nano가 1.8B와 3.25B 두 가지라는 점을 들어, 기존 온디바이스 모델은 대체로 10B 미만이었다고 설명했다.
1450억 파라미터를 29GB에 담는 방법
대략 계산해 보면, 145B 파라미터를 일반적인 4비트 양자화로 줄여도 가중치만 약 72GB가 필요해 29GB를 크게 넘는다. Edge0가 내놓은 해법은 네 단계로 나뉜다.
아키텍처 차원에서 큰 행렬을 공유한다. 전문가(expert) 64개가 큰 행렬 두 벌을 함께 쓰고, 각 전문가는 차이를 나타내는 작은 파라미터 묶음만 갖는다. 저장하고 옮겨야 할 가중치 양이 줄어드는 반면 전문가 수는 그대로다. 추론 한 단계에서 활성화되는 파라미터는 약 10B다.
학습 단계부터 온디바이스 구조로 만든다. 모델은 처음부터 온디바이스 아키텍처로 학습했으며, ‘클라우드용 대형 모델을 먼저 학습한 뒤 압축·가지치기’하는 경로를 따르지 않았다.
로딩은 3단계 스토리지 파이프라인이다. 자주 쓰는 ‘핫 전문가’는 VRAM에 두고, 약 40GB의 전문가 풀은 시스템 메모리에 두었다가 필요할 때 VRAM으로 불러온다. 약 48GB의 어휘 데이터는 SSD에 두고 필요할 때 읽는다. 읽기와 연산을 겹쳐 진행해 순차 대기를 피한다.
스케줄링에서는 CPU와 GPU가 함께 일한다. GPU가 캐시에 있는 전문가를 계산하는 동안 CPU가 나머지를 병렬로 처리하고, 추측 디코딩으로 여러 후보 토큰을 한 번에 검증해 가중치 읽기 비용을 더 많은 출력에 나눠 부담시킨다.
블로그가 설명하지 않은 대목도 있다. 피크 메모리 29GB와 시스템 메모리에 두는 약 40GB의 전문가 풀이 어떻게 맞아떨어지는지, 집계 기준이 VRAM 쪽만 센 것인지 글에는 나와 있지 않다. Edge0 자체 비교 그림에는 48GB 노트북에서 쓸 수 있다고 표기돼 있어, 로컬에서 돌리려는 사용자는 48GB 통합 메모리를 기준으로 준비하는 편이 안전하다.
시연과 회사 측 주장
Edge0는 로컬 에이전트 시연을 여럿 공개했다. 한 시간 안에 설명 영상 만들기, Blender에서 맨해튼 도시 장면 구성하기, 장애물을 통과해 빨간 배낭을 찾는 드론 프로그램 작성하기, KiCad 기판 설계부터 UE5 조립 애니메이션까지 이어서 만들기 등이다. 모두 회사 내부 테스트이며, 인력과 클라우드 토큰 비용을 얼마나 아꼈는지도 회사가 직접 환산한 수치다.
회사는 또 산하 네 개 시리즈에서 1년 동안 모델 200개를 내놓았고, 오픈소스 모델이 3개월간 1500만 회 넘게 다운로드됐으며, 10월 기준 고객 조직이 11만 곳 이상이라고 밝혔다. 이런 규모 수치는 현재로서는 회사의 일방적 주장이어서 확인할 수 없다.
참고 출처: Edge0 공식 발표 블로그, Hugging Face 모델 페이지, CocoLoop, Edge0 GitHub 추론 프레임워크 설명. 벤치마크는 모두 Edge0 내부 평가 기준이며, 29GB는 업체가 실측한 피크 메모리다.