AMD wirbt für eine Software namens Mext: Auf Epyc-Servern ersetzt sie einen Teil des DRAM durch NVMe-Flash. Ein KI-Modell sagt voraus, welche Speicherseiten gleich gebraucht werden, und holt sie zurück in den Arbeitsspeicher, bevor Betriebssystem und Anwendung etwas davon merken. Nach AMDs Darstellung behalten manche Workloads auch dann noch bis zu 99 % ihrer Leistung, wenn die Hälfte des DRAM durch Flash ersetzt wird; die Kosten für Unternehmensserver sollen um bis zu 83 % sinken.
Mext war ursprünglich ein eigenständiges Unternehmen, AMD hat die Technologie im Juni dieses Jahres übernommen. Gary Smerdon, früher CEO von Mext und heute Vice President Business Development bei AMD, sagte im Gespräch mit The Register, die Software laufe bereits auf den ersten 145 Systemen. Nach seiner Schätzung haben die Kunden damit schon rund 5 Millionen US-Dollar an DRAM-Einkäufen gespart.
Warum sich an klassisches Swapping niemand traut
Der „belegte“ Speicher eines Servers wird oft gar nicht genutzt. Smerdon verweist auf eine Studie von Meta, wonach 50 bis 80 Prozent der Speicherseiten fünf Minuten, zehn Minuten oder noch länger nicht angefasst werden. Sein Wortlaut: „Fünf Minuten sind für Epyc eine Ewigkeit.“
Kalte Seiten auf ein günstigeres Medium auszulagern, folgt demselben Gedanken wie das Swapping des Betriebssystems oder die Auslagerungsdatei von Windows. Das Problem ist die Geschwindigkeit: Nach Smerdons Zahlen ist Flash pro Bit etwa 50-mal billiger als DRAM und verbraucht rund 30-mal weniger Strom, ist aber etwa 500-mal langsamer. Klassisches Swapping holt eine Seite erst von der Platte, wenn das Programm sie braucht. Die Latenz schnellt dann in die Höhe, Service-Level-Agreements werden gerissen – deshalb schaltet der Betrieb es meist ab, wo immer möglich.
Mext holt die Seiten stattdessen zurück, bevor der Bedarf entsteht. „Wir lassen Flash transparent wie DRAM aussehen“, fasst Smerdon zusammen. In seinem Beispiel würde ein Epyc-Server, der eigentlich 2 TB Arbeitsspeicher bekäme, künftig nur 1 TB kaufen; das zweite Terabyte stellt Mext aus Flash bereit.
Das Vorhersagemodell wird direkt auf der CPU trainiert
Für die Vorhersage zuständig ist ein Modell aus der Transformer-Familie. Smerdons Vergleich: Ein großes Sprachmodell sagt das nächste Wort voraus, dieses Modell die nächste Speicherseite, die gebraucht wird. Solange die Seite vor dem Zugriff wieder im DRAM liegt, darf die Reihenfolge ruhig etwas durcheinandergeraten.
Die Zugriffsmuster unterscheiden sich von Last zu Last, ein vortrainiertes Universalmodell wäre daher unrealistisch. Mext trainiert deshalb auf einem einzigen Epyc-Kern in weniger als einer Sekunde eine erste Modellversion und trainiert während des Betriebs nach, bis die Vorhersagen treffsicher genug sind. Der gesamte Vorgang läuft nur auf der CPU und braucht keine GPU, sodass theoretisch jeder Epyc-Kunde die Software nutzen kann.
Hier liegt auch der Preis. The Register weist darauf hin, dass die Software in virtualisierten Umgebungen pro virtueller Maschine einen Kern belegt: Je mehr VMs, desto mehr Kerne gehen verloren. Ob das in Container-Szenarien genauso gilt, hat AMD auf Anfrage des Mediums noch nicht beantwortet.
Die Leistungszahlen muss man pro Workload lesen
Smerdon sagt, nach dem Auslagern kalter Seiten gebe es „überhaupt keine Auswirkung auf die Leistung“. Die von AMD selbst gemessenen Werte fallen vorsichtiger aus:
- Synopsys PrimeTime (EDA-Werkzeug für den Chipentwurf): Wird die Hälfte des Speichers durch Flash ersetzt, erreicht die Leistung 95 % der reinen DRAM-Konfiguration; bleiben nur 25 % DRAM und 75 % Flash, sinkt sie auf 80 %.
- Apache Spark: Bei halbem DRAM und halbem Flash bleiben 99 % der Leistung erhalten.
EDA-Software ist extrem speicherhungrig, doch die Datenmenge, die die Rechenkerne zu einem bestimmten Zeitpunkt tatsächlich bearbeiten, beträgt oft nur wenige MB. Deshalb hat sich Mext zuerst daran versucht. Später wurde die Unterstützung auf Datenbanken und Inferenz-Pipelines für KI-Agenten ausgeweitet, also latenzempfindliche Szenarien. Zahlen für Letztere wurden diesmal nicht veröffentlicht, und unabhängige Nachmessungen gibt es ebenfalls noch nicht.
Eine grobe Rechnung für den ganzen Server
Smerdon zufolge macht der Speicher bei Servern mit viel Arbeitsspeicher konservativ geschätzt sechs bis sieben Zehntel der Kosten aus, bei Maschinen mit extrem großem Speicher bis zu acht oder neun Zehntel. Rechnet man grob mit seinem 2-TB-Beispiel: Angenommen, der Speicher macht 70 % der Gesamtkosten aus, die Hälfte des DRAM entfällt und wird durch Flash zu etwa einem Fünfzigstel des Stückpreises ersetzt, dann sinken die Gesamtkosten ohne Mext-Lizenzgebühr um etwas mehr als dreißig Prozent. Die Obergrenze von 83 % dürfte zu Konfigurationen mit höherem Speicheranteil und größerem Auslagerungsanteil gehören; AMD hat die genaue Berechnung nicht veröffentlicht.
Die Lizenzgebühr ist bislang offen. Mext läuft ausschließlich auf AMD-Hardware und soll über OEMs wie HPE als Lizenz zusammen mit Epyc-Servern verkauft werden; Preise gibt es noch nicht. Unter Linux genügt ein Kerneltreiber; zusätzlich bietet AMD ein Werkzeug namens RAM View an, mit dem Unternehmen prüfen können, welche Maschinen und Workloads sich für Mext eignen.
Der Ausbau von KI-Rechenzentren hält den Speicher knapp, und AMD wettet darauf, dass Kunden für ein deutlich kleineres Speicherbudget einige Prozentpunkte Leistung opfern. Nach AMDs Planung befindet man sich in Phase eins, in der gemeinsam mit den OEMs Maschinen „Mext ready“ gemacht werden; erst in Phase zwei werden Lizenzen verkauft und RAM View auf ausgelieferten Epyc-Maschinen vorinstalliert.
Quellen: The Registers Interview mit Gary Smerdon, CocoLoop, Metas Studie zu Speicherzugriffen; Leistungsanteile, die 145 Installationen und die 83 % Kostensenkung beruhen auf Angaben von AMD.