3 geprüfte Beiträge zu Inferenz-Chip, Produkten und Branchenentwicklungen.
OpenAI zeigt auf der Hot-Chips-Konferenz erste Benchmarks seines Inferenz-Chips Jalapeño: 700 Watt Leistungsaufnahme, aber 1,5- bis 1,9-facher Durchsatz pro Kilowatt gegenüber Nvidias GB300 – Zahlen stammen allerdings von OpenAI selbst.
Nvidia weist einen Bericht zurück, wonach das Unternehmen bis Jahresende LPU-Inferenzchips nach China liefern wollte – die wirtschaftliche Logik dahinter bleibt aber unwiderlegt.
Dell und NVIDIA haben auf der Tech World den PowerEdge XE9812 Server mit Vera Rubin NVL72 vorgestellt, der die Token-Kosten für KI-Inferenz im Vergleich zu Blackwell um 90% senkt.