딥시크가 arXiv에 기술 보고서를 공개했다. 제목은 "DeepSeek Elastic Compute(DSec): 대규모 에이전트 훈련을 위한 샌드박스 인프라"이며, 제출일은 9월 19일이다. 보고서가 다루는 것은 딥시크가 에이전트를 훈련하고 평가할 때 모델이 코드를 작성하고 명령을 실행하고 컴퓨터를 조작하게 하는 실행 환경 계층이다. 저자 명단은 100명을 넘고 주체 기관은 DeepSeek-AI이며, 칭화대학교 박사과정 학생들도 인턴 신분으로 참여했다.
모델 훈련에 관한 보고서는 딥시크가 그동안 여러 차례 내놓았다. 하지만 강화학습을 뒷받침하는 이 "훈련장"만 따로 떼어 논문으로 쓴 것은 이번이 처음이다.
샌드박스 네 종류, 인터페이스 하나
DSec은 통합 SDK를 통해 네 가지 백엔드를 제공하며, 격리 강도와 오버헤드가 가벼운 순서로 나열하면 다음과 같다.
- FnCall: 상태를 유지하지 않는 작업, 예를 들어 온라인 저지(OJ)
- 컨테이너: 소프트웨어 엔지니어링과 툴 호출 계열 작업
- Firecracker microVM: 더 강한 격리가 필요한 보안 침투 계열 작업
- 완전 가상머신(QEMU): 안드로이드 개발과 그래픽 부하가 큰 작업
대상 워크로드에는 SWE-bench 같은 저장소 단위 코딩 작업, 보안 취약점 공격, 컴퓨터 조작, 모바일 개발이 포함된다. 훈련 프레임워크 쪽은 동일한 인터페이스만 호출하며, 어떤 샌드박스를 쓸지는 스케줄링 계층이 작업별로 배정한다.
몇 가지 엔지니어링 수치
보고서에서 가장 많은 분량을 차지하는 것은 이미지 로딩이다. DSec은 이미지를 EROFS 형식으로 저장해 딥시크가 자체 개발한 분산 파일시스템 3FS에서 필요할 때 읽어온다. 도커 이미지 전체를 먼저 로컬로 내려받는 기존 방식과 비교하면, 같은 배치 작업의 완료 시간이 60분대에서 약 35분으로 줄었고 보고서가 제시한 배율은 1.71배다. 누적 디스크 쓰기는 57% 감소했다.
메모리 측면에서는 virtio-pmem과 DAX를 결합해 같은 머신 위의 여러 가상머신이 하나의 페이지 캐시를 공유하도록 했다. 각 VM이 따로 저장할 필요가 없어지면서 호스트의 피크 메모리는 40.2% 줄었다. 여기에 DAMON과 벌룬 드라이버 기반의 유휴 페이지 회수를 더하자 시간 누적 메모리 사용량이 21.2% 추가로 떨어졌다.
훈련과 직접 관련된 설계가 하나 더 있다. rollout 실행을 DSec 쪽으로 옮기고 두 개 컴포넌트로 나눠, 에이전트 샌드박스와 워커 컨테이너가 완전한 rollout 상태를 공동으로 보관한다. GPU 훈련 작업은 선점 가능하며, 선점되더라도 진행 중이던 다단계 상호작용이 함께 사라지지 않는다.
해외 동종 업계와 나란히 놓고 보면
에이전트 샌드박스라는 사업은 해외에 이미 전문 기업이 여럿 있다. 오픈AI는 올해 4월 Agents SDK에 샌드박스를 추가하면서 E2B, Modal, Daytona, Cloudflare 같은 서드파티 서비스를 연결했다. 앤트로픽은 이후 셀프 호스팅 샌드박스를 내놓았고, 커서는 OS 수준의 코드 샌드박스를 만들었다. 이들 제품이 겨냥하는 것은 프로덕션 환경에서 에이전트를 돌리는 개발자이며, 초점은 보안 경계와 종량제 과금이다.
DSec의 출발점은 다르다. 딥시크 자신의 강화학습 훈련을 지원하는 것이 목적이며, 풀어야 할 문제는 하루 수백만 개의 환경을 띄우고 없애면서도 GPU를 멈추지 않는 것이다. 보고서에 나온 동시 실행과 밀도 수치는 대외 판매용 샌드박스 제품에서는 공개된 사례가 드물어 일대일 비교가 어렵다.
해외 주요 연구소들도 내부적으로는 비슷한 시스템을 갖추고 있을 가능성이 크지만, 아키텍처와 수치를 논문으로 쓰는 경우는 드물다. 딥시크가 이번에 네 가지 백엔드의 선택 기준, 이미지와 메모리 최적화 기법을 모두 공개하면서 중국 내에서 에이전트 훈련을 다루는 팀들에게 비교할 수 있는 공학적 참고 자료가 하나 늘었다. DSec 코드를 오픈소스로 공개할지, 클라우드 서비스로 제공할지는 보고서에 언급되지 않았다.
참고 출처: CocoLoop, arXiv 논문 DeepSeek Elastic Compute(DSec), 오픈AI Agents SDK 문서. 동시 실행, 밀도, 이미지 로딩 속도 향상 수치는 논문 본문 기준으로 확인했다.