AMD mulai memasarkan perangkat lunak bernama Mext: di server Epyc, flash NVMe dipakai untuk menggantikan sebagian DRAM. Model AI memprediksi halaman memori mana yang akan segera dipakai, lalu memindahkannya kembali ke memori sebelum sistem operasi dan aplikasi menyadarinya. Menurut AMD, setelah separuh DRAM diganti flash, sebagian beban kerja masih bisa mempertahankan performa hingga 99%, dan biaya server perusahaan dapat turun hingga 83%.
Mext semula adalah perusahaan independen; AMD mengakuisisi teknologinya pada Juni tahun ini. Mantan CEO Mext, Gary Smerdon, yang kini menjabat Wakil Presiden Pengembangan Bisnis AMD, mengatakan kepada The Register bahwa perangkat lunak ini sudah diterapkan di 145 sistem pertama, dan menurut perkiraannya pelanggan sejauh ini telah menghemat sekitar 5 juta dolar AS pembelian DRAM.
Mengapa swap lama tak ada yang berani mengaktifkan
Banyak memori server yang tercatat “terpakai” sebenarnya tidak digunakan. Mengutip penelitian Meta, Smerdon menyebut 50% hingga 80% halaman memori tidak diakses selama lima menit, sepuluh menit, bahkan lebih lama. Dalam kata-katanya: “Lima menit adalah keabadian bagi sebuah Epyc.”
Memindahkan halaman dingin ke media yang lebih murah punya gagasan yang sama dengan swap pada sistem operasi atau page file di Windows. Masalahnya ada di kecepatan: menurut angka Smerdon, flash sekitar 50 kali lebih murah per bit dan sekitar 30 kali lebih hemat daya dibanding DRAM, tetapi sekitar 500 kali lebih lambat. Swap tradisional baru mengambil halaman dari disk setelah program memintanya, sehingga latensi melonjak seketika dan perjanjian tingkat layanan (SLA) ikut terlanggar. Karena itu operator umumnya mematikan swap sebisa mungkin.
Mext memindahkan halaman kembali sebelum diminta. “Kami membuat flash tampak seperti DRAM secara transparan,” ringkas Smerdon. Dalam contohnya, server Epyc yang semula harus dipasangi memori 2TB kini cukup membeli 1TB, sementara 1TB sisanya ditutup Mext dengan flash.
Model prediksi dilatih langsung di CPU
Model utama yang bertugas memprediksi adalah turunan arsitektur Transformer. Analogi Smerdon: model bahasa besar memprediksi kata berikutnya, sedangkan model ini memprediksi halaman memori berikutnya yang akan dipakai. Selama halaman sudah kembali ke DRAM sebelum diakses, urutannya sedikit meleset pun tidak masalah.
Pola akses memori berbeda di tiap beban kerja, sehingga melatih model umum di awal tidak realistis. Mext melatih model awal dengan satu inti Epyc dalam waktu kurang dari satu detik, lalu terus melatih ulang sambil berjalan hingga prediksinya cukup akurat. Seluruh proses hanya memakai CPU tanpa GPU, sehingga secara teori semua pelanggan Epyc bisa menggunakannya.
Beban tambahan juga ada di sini. The Register mencatat bahwa di lingkungan virtualisasi, perangkat lunak ini memakai satu inti per mesin virtual, jadi semakin banyak VM, semakin banyak inti yang terpakai. Apakah hal yang sama berlaku untuk kontainer, AMD belum menjawab pertanyaan media tersebut.
Angka performa harus dilihat per beban kerja
Smerdon mengatakan setelah halaman dingin dipindahkan “sama sekali tidak ada dampak pada performa”, sementara angka hasil uji AMD sendiri lebih konservatif:
- Synopsys PrimeTime (alat EDA untuk desain chip): dengan separuh memori diganti flash, performa menjadi 95% dari konfigurasi DRAM penuh; bila DRAM hanya 25% dan flash 75%, turun menjadi 80%.
- Apache Spark: dengan separuh DRAM diganti flash, performa tetap 99%.
Perangkat lunak EDA sangat rakus memori, tetapi data yang benar-benar diproses inti komputasi pada satu saat sering kali hanya beberapa MB; itulah alasan Mext pertama kali diuji pada perangkat lunak tersebut. Dukungannya kemudian meluas ke skenario yang sensitif terhadap latensi seperti basis data dan pipeline inferensi agen. Angka untuk yang terakhir belum dipublikasikan kali ini, dan pengujian ulang oleh pihak ketiga juga belum muncul.
Hitung kasar biaya satu server utuh
Smerdon menyebut, dalam biaya server berkapasitas memori besar, memori secara konservatif memakan enam hingga tujuh puluh persen, dan pada mesin berkapasitas sangat besar bisa mencapai delapan puluh hingga sembilan puluh persen. Berdasarkan contoh 2TB-nya, hitungan kasarnya begini: dengan asumsi memori 70% dari biaya total server, memangkas separuh DRAM dan menggantinya dengan flash yang harga satuannya sekitar seperlima puluh, tanpa menghitung biaya lisensi Mext, biaya server turun sedikit di atas 30%. Batas atas 83% semestinya berkaitan dengan konfigurasi yang porsi memorinya lebih besar dan rasio penggantiannya lebih tinggi; AMD tidak mempublikasikan cara perhitungan rincinya.
Biaya lisensi saat ini masih kosong. Mext hanya berjalan di perangkat keras AMD dan akan dijual dalam bentuk lisensi bersama server Epyc melalui OEM seperti HPE; harganya belum diumumkan. Di Linux, cukup memasang satu driver kernel. AMD juga menyediakan alat bernama RAM View untuk membantu perusahaan menentukan mesin dan beban kerja mana yang cocok untuk mengaktifkan Mext.
Pembangunan pusat data AI membuat pasokan memori terus ketat, dan AMD bertaruh bahwa pelanggan bersedia mengorbankan beberapa persen performa demi memangkas anggaran memori secara besar. Menurut rencananya, saat ini perusahaan berada di tahap pertama, bersama OEM menyiapkan mesin agar berstatus “Mext ready”. Lisensi baru mulai dijual pada tahap kedua, dengan RAM View terpasang sejak awal pada mesin Epyc yang keluar dari pabrik.
Sumber: wawancara The Register dengan Gary Smerdon, CocoLoop, penelitian akses memori Meta; rasio performa, jumlah penerapan 145 sistem, dan penurunan biaya 83% semuanya merupakan angka versi AMD.