AMD用AI把一半記憶體換成快閃,稱效能留99%

AMD用AI把一半記憶體換成快閃,稱效能留99%

AMD 開始推銷一套名為 Mext 的軟體:在 Epyc 伺服器上以 NVMe 快閃記憶體取代一部分 DRAM,靠 AI 模型預測哪些記憶體分頁馬上要用,趕在作業系統與應用程式察覺之前,把它們搬回記憶體。AMD 的說法是,一半 DRAM 換成快閃記憶體後,部分工作負載仍能保留最高 99% 的效能,企業伺服器成本最多可降低 83%。

Mext 原本是一家獨立公司,AMD 在今年 6 月收購了這項技術。Mext 前執行長 Gary Smerdon 現任 AMD 業務拓展副總裁,他接受 The Register 訪問時表示,這套軟體目前已部署在首批 145 台系統上,依他的估算,客戶已省下約 500 萬美元的 DRAM 採購費用。

傳統 swap 為什麼沒人敢開

伺服器裡「被占用」的記憶體,很多時候其實沒有在用。Smerdon 引述 Meta 的一項研究指出,50% 到 80% 的記憶體分頁在五分鐘、十分鐘甚至更長的時間內都沒有被存取過。他的原話是:「五分鐘對 Epyc 來說就是永恆。」

把冷分頁挪到較便宜的媒介上,概念和作業系統的 swap、Windows 的分頁檔相同。麻煩在速度:依 Smerdon 提供的數字,快閃記憶體每位元成本比 DRAM 便宜約 50 倍、耗電低約 30 倍,但速度慢約 500 倍。傳統 swap 要等程式需要某一頁時才去磁碟取回,延遲一下子拉高,服務水準協議(SLA)也跟著失守,所以維運人員通常能關就關。

Mext 的做法是趕在需求出現之前把分頁搬回來。「我們以透明的方式讓快閃記憶體看起來就像 DRAM。」Smerdon 這樣概括。依他舉的例子,原本要替一台 Epyc 伺服器配 2TB 記憶體,現在可以只買 1TB,另外 1TB 由 Mext 以快閃記憶體補上。

預測模型在 CPU 上即時訓練

負責預測的主力模型是 Transformer 的衍生架構。Smerdon 的比喻是:大型語言模型預測下一個詞,它則預測下一個會用到的記憶體分頁。只要分頁在被存取之前已經回到 DRAM,順序稍微亂一點也沒關係。

記憶體存取模式會隨工作負載而異,預先訓練一個通用模型並不實際。Mext 的辦法是用一個 Epyc 核心在一秒之內訓練出初版模型,之後邊執行邊重新訓練,直到預測夠準為止。整個過程只用 CPU,不需要 GPU,因此理論上任何 Epyc 客戶都能使用。

成本也出在這裡。The Register 指出,在虛擬化環境中,這套軟體每個虛擬機器要占用一個核心,虛擬機器越多,占掉的核心越多;容器情境是否同樣如此,AMD 尚未回覆該媒體的詢問。

效能數字要依工作負載分開看

Smerdon 表示,冷分頁挪走後「對效能完全沒有影響」,AMD 自己公布的實測數字則保守一些:

  • Synopsys PrimeTime(晶片設計用的 EDA 工具):一半記憶體換成快閃記憶體,效能為純 DRAM 的 95%;DRAM 只留 25%、快閃記憶體占 75% 時,降到 80%。
  • Apache Spark:一半 DRAM 換成快閃記憶體,效能保留 99%。

EDA 軟體非常吃記憶體,但某一時刻真正被運算核心處理的資料往往只有幾 MB,這是 Mext 最早拿它開刀的原因。後來支援範圍擴大到資料庫與代理(agent)推論流程這類對延遲敏感的情境,後者的數字這次並未公布,第三方複測也尚未出現。

粗估一筆整機成本帳

Smerdon 稱,大容量記憶體伺服器的成本中,記憶體保守估計占六到七成,超大容量機器可達八到九成。依他的 2TB 例子粗估:假設記憶體占整機成本 70%,砍掉一半 DRAM、換上單價約為其五十分之一的快閃記憶體,不計 Mext 授權費,整機成本大約降低三成多。83% 這個上限,應該對應記憶體占比更高、換出比例更大的配置,AMD 並未公布具體算法。

授權費目前仍是空白。Mext 只能在 AMD 硬體上執行,將透過 HPE 等 OEM 廠商以授權形式隨 Epyc 伺服器一起販售,價格尚未公布。Linux 系統只需安裝一個核心驅動程式;AMD 另提供名為 RAM View 的工具,協助企業判斷哪些機器與工作負載適合啟用 Mext。

AI 資料中心擴建讓記憶體持續供不應求,AMD 賭的是客戶願意拿幾個百分點的效能,換一大截記憶體預算。依它的規劃,目前處於第一階段,先與 OEM 廠商合作把機器做到「Mext ready」;第二階段才開賣授權,並在出廠的 Epyc 機器上預先安裝 RAM View。

參考來源:The Register 對 Gary Smerdon 的專訪、CocoLoop、Meta 記憶體存取研究;效能比例、145 台部署量與 83% 成本降幅均為 AMD 口徑。