AMD가 Mext라는 소프트웨어를 내세우고 있다. Epyc 서버에서 DRAM 일부를 NVMe 플래시로 대신하는 방식으로, AI 모델이 곧 필요해질 메모리 페이지를 예측해 운영체제와 애플리케이션이 알아채기 전에 미리 메모리로 되돌려 놓는다. AMD는 DRAM의 절반을 플래시로 바꿔도 일부 워크로드에서는 최대 99%의 성능을 유지할 수 있고, 기업용 서버 비용을 최대 83%까지 줄일 수 있다고 설명한다.
Mext는 원래 독립 회사였고, AMD가 올해 6월 이 기술을 인수했다. Mext의 전 CEO로 현재 AMD 사업개발 부사장인 Gary Smerdon은 The Register와의 인터뷰에서 이 소프트웨어가 이미 첫 145개 시스템에 배치됐으며, 자신의 추산으로는 고객들이 지금까지 약 500만 달러의 DRAM 구매 비용을 아꼈다고 말했다.
기존 스왑을 아무도 켜지 않는 이유
서버에서 “사용 중”으로 잡히는 메모리의 상당 부분은 실제로는 쓰이지 않는다. Smerdon은 Meta의 연구를 인용해 메모리 페이지의 50~80%가 5분, 10분, 혹은 그 이상 한 번도 접근되지 않는다고 말했다. 그의 표현대로라면 “Epyc에게 5분은 영원이다.”
차가운 페이지를 값싼 매체로 옮긴다는 발상은 운영체제의 스왑, Windows의 페이지 파일과 같다. 문제는 속도다. Smerdon이 제시한 수치로는 플래시가 DRAM보다 비트당 가격이 약 50분의 1, 전력 소모는 약 30분의 1이지만 속도는 약 500배 느리다. 기존 스왑은 프로그램이 해당 페이지를 요청한 뒤에야 디스크에서 가져오기 때문에 지연 시간이 한꺼번에 치솟고 서비스 수준 협약(SLA)도 지키기 어려워진다. 그래서 운영자들은 가능하면 스왑을 꺼 둔다.
Mext는 수요가 생기기 전에 페이지를 먼저 되돌려 놓는다. “우리는 플래시가 DRAM처럼 보이게 투명하게 만든다”고 Smerdon은 요약했다. 그의 예시에 따르면 원래 Epyc 서버 한 대에 2TB 메모리를 넣어야 했다면 이제 1TB만 구매하고, 나머지 1TB는 Mext가 플래시로 채운다.
예측 모델은 CPU에서 즉석 학습
예측을 맡는 핵심 모델은 Transformer 계열의 변형 구조다. Smerdon의 비유로는 대규모 언어 모델이 다음 단어를 예측하듯, 이 모델은 다음에 쓰일 메모리 페이지를 예측한다. 페이지가 접근되기 전에 DRAM에 돌아와 있기만 하면 순서가 조금 어긋나도 상관없다.
메모리 접근 패턴은 워크로드마다 달라서 범용 모델을 미리 학습시키는 것은 현실적이지 않다. Mext는 Epyc 코어 하나로 1초 이내에 초기 모델을 학습시키고, 이후 실행 중에 계속 재학습해 예측이 충분히 정확해질 때까지 이어간다. 전 과정이 CPU만으로 이뤄지고 GPU는 필요 없으므로 이론상 모든 Epyc 고객이 쓸 수 있다.
부담도 여기에 있다. The Register는 가상화 환경에서 이 소프트웨어가 가상 머신마다 코어 하나를 차지하므로 가상 머신이 많을수록 점유하는 코어도 늘어난다고 지적했다. 컨테이너 환경에서도 마찬가지인지에 대해서는 AMD가 이 매체의 문의에 아직 답하지 않았다.
성능 수치는 워크로드별로 봐야 한다
Smerdon은 차가운 페이지를 옮겨도 “성능에 전혀 영향이 없다”고 말하지만, AMD가 직접 내놓은 실측 수치는 그보다 보수적이다.
- Synopsys PrimeTime(칩 설계용 EDA 도구): 메모리 절반을 플래시로 바꾸면 성능은 DRAM 전용 구성의 95%. DRAM 25%, 플래시 75%로 구성하면 80%로 떨어진다.
- Apache Spark: DRAM 절반을 플래시로 바꿔도 성능 99% 유지.
EDA 소프트웨어는 메모리를 아주 많이 쓰지만, 어느 한 시점에 연산 코어가 실제로 처리하는 데이터는 몇 MB에 불과한 경우가 많다. Mext가 처음 이 분야에 적용된 이유다. 이후 지원 범위는 데이터베이스와 에이전트 추론 파이프라인처럼 지연에 민감한 시나리오로 넓어졌다. 후자의 수치는 이번에 공개되지 않았고, 제3자의 재검증도 아직 나오지 않았다.
서버 한 대 비용을 대략 계산해 보면
Smerdon은 대용량 메모리 서버의 원가에서 메모리가 보수적으로 잡아도 60~70%를 차지하고, 초대용량 머신에서는 80~90%까지 올라간다고 말했다. 그가 든 2TB 예시로 대략 계산해 보자. 메모리가 전체 원가의 70%라고 가정하고, DRAM 절반을 덜어내 단가가 약 50분의 1인 플래시로 바꾸면, Mext 라이선스 비용을 제외했을 때 서버 한 대 원가는 30% 남짓 내려간다. 83%라는 상한은 메모리 비중이 더 높고 교체 비율도 큰 구성에 해당할 것으로 보이지만, AMD는 구체적인 산출 방식을 공개하지 않았다.
라이선스 비용은 아직 공란이다. Mext는 AMD 하드웨어에서만 동작하며, HPE 등 OEM을 통해 Epyc 서버와 함께 라이선스 형태로 판매될 예정이고 가격은 발표되지 않았다. Linux에서는 커널 드라이버 하나만 설치하면 된다. AMD는 또 RAM View라는 도구를 제공해, 기업이 어떤 머신과 워크로드에서 Mext를 켜는 것이 적합한지 판단하도록 돕는다.
AI 데이터센터 증설로 메모리 부족이 이어지는 가운데, AMD는 고객이 성능 몇 퍼센트포인트를 내주고 메모리 예산을 크게 줄이려 할 것이라는 데 베팅하고 있다. 회사 계획상 현재는 1단계로, OEM과 함께 장비를 “Mext ready” 상태로 만드는 중이다. 2단계에서 라이선스 판매를 시작하고, 출하되는 Epyc 서버에 RAM View를 사전 설치한다.
참고 출처: The Register의 Gary Smerdon 인터뷰, CocoLoop, Meta 메모리 접근 연구. 성능 비율, 145대 배치 규모, 83% 비용 절감은 모두 AMD 기준 수치다.