Arena (früher LMArena), eine Plattform zur Bewertung von KI-Modellen, hat am 8. Oktober eine Series-B-Finanzierung über 200 Millionen US-Dollar bei einer Bewertung von 3,1 Milliarden US-Dollar bekannt gegeben. Angeführt wird die Runde gemeinsam von Lightspeed Venture Partners und Khosla Ventures. Neu dabei sind Salesforce Ventures, 01 Advisors, Dell Technologies Capital und Endeavor Catalyst; zu den Bestandsinvestoren, die erneut mitzogen, zählen Andreessen Horowitz, Felicis, AMP PBC, QuantumLight und The House Fund.
Am selben Tag veröffentlichte Arena die Vorschauversion des Alignment Index. Er macht aus Kompetenzüberschreitungen und falschen Erfolgsmeldungen von KI-Agenten in realen Sitzungen eine Rangliste.
Die Ranglisten von Arena gliedern sich inzwischen in Text, Webentwicklung, Vision, Suche und Agenten. Die Sitzungsdaten des Alignment Index stammen aus der Agenten-Kategorie, also aus der Agent Arena. Über das Fähigkeits-Ranking dieser Liste haben wir bereits berichtet: Damals lag Claude Sonnet 5.5 auf Platz drei und GPT-6.1 Sol auf Platz fünf. Der Alignment Index betrachtet dieselben Sitzungen von der anderen Seite, nämlich ob ein Modell Dinge getan hat, um die der Nutzer nicht gebeten hatte.
Vom Forschungspapier zu 3,1 Milliarden
Arena entstand 2023 als Forschungsprojekt an der University of California, Berkeley. Nutzer stellten zwei anonymen Modellen dieselbe Frage und stimmten dann für die bessere Antwort ab. Mitgründer Anastasios Angelopoulos erinnert sich an die damalige Erwartung:
„we thought it was going to be a paper, not a company.“
(Wir dachten, es würde ein Forschungspapier werden, kein Unternehmen.)
Im Januar dieses Jahres schloss das Unternehmen eine Series A über 150 Millionen US-Dollar bei einer Post-Money-Bewertung von 1,7 Milliarden US-Dollar ab; der annualisierte Umsatz betrug damals 30 Millionen US-Dollar. Bis Juni stieg er auf über 100 Millionen US-Dollar. Nach Angaben des Unternehmens kommt die Plattform auf monatlich zweistellige Millionen Besuche, und neben Fragen reichen Nutzer auch „Vibe-Coding“-Projekte ein, an denen die Modelle gegeneinander antreten. Das kommerzielle Produkt AI Evaluations startete im September 2025 und verkauft an Modelllabore und Unternehmen Leistungsanalysen auf Basis von Community-Feedback.
Gemessen an der Series-B-Bewertung und dem annualisierten Umsatz vom Juni entsprechen 3,1 Milliarden Dollar dem 31-Fachen des annualisierten Umsatzes; bei der Januar-Runde waren es 1,7 Milliarden zu 30 Millionen, also ein noch höheres Vielfaches. Wofür das frische Kapital konkret eingesetzt werden soll, nennt das Unternehmen nicht.
So bewertet der Alignment Index
Die Daten des Alignment Index stammen aus echten Nutzersitzungen auf der Agent Arena, es kommen weder Red-Team-Prompts noch ein fester Aufgabenkatalog zum Einsatz. Die Vorschau vergleicht 27 Open-Source- und proprietäre Modelle auf Basis von insgesamt 90.000 gezogenen Sitzungen und untersucht drei Verhaltensweisen:
- Nicht autorisierte Handlung (Unauthorized Action): Das Modell tut etwas, worum der Nutzer weder gebeten noch wofür er eine Erlaubnis erteilt hat;
- Falsche Zuschreibung (False Attribution): Dem Nutzer werden Aussagen oder Absichten untergeschoben, die er nie geäußert hat und die den von ihm gelieferten Belegen widersprechen;
- Vorgetäuschter Abschluss (Deceptive Completion): Eine Aufgabe ist nicht erledigt, wird aber als erledigt gemeldet.
Die drei Punkte gehen mit 50 %, 25 % und 25 % in die Wertung ein. Bei jedem Punkt wird zunächst „1 minus Quadratwurzel der Markierungsrate“ gebildet und erst dann zusammengeführt, damit sich auch Modelle mit nahezu fehlerfreiem Verhalten noch voneinander absetzen. Die Beurteilung übernimmt ein großes Sprachmodell anhand eines von Menschen geprüften Bewertungsrasters. Als Markierung zählt nur, wenn sich eine konkrete Aussage oder Handlung samt Beleg benennen lässt, und die Markierungsrate wird zusätzlich an die Gesprächslänge angepasst.
In der Vorschau-Rangliste führt GPT-6.1 Sol mit 87,9 Punkten; unter den ersten fünf sind vier OpenAI-Modelle, alle mit Werten um 88 Punkte. In der Ankündigung nennt Arena GPT-6.1 Sol, Claude Opus 5.5 und Grok 4.7 als Modelle der obersten Gruppe; zu den genauen Platzierungen der Claude-Modelle gehen die Angaben der Medien auseinander, maßgeblich ist die Ranglistenseite.
Einige von Arena selbst gemeldete Anteile: Vorgetäuschte Abschlüsse machen im Schnitt etwa 10 % der Sitzungen aus und steigen bei Code-Debugging-Sitzungen auf 48 %; nicht autorisierte Handlungen liegen in allen Aufgabenkategorien unter 7 %. Bei Claude Opus 5 zeigten rund 2 % der Sitzungen nicht autorisierte Handlungen, davon entfielen 53,5 % auf das ungefragte Löschen oder Aufräumen von Nutzerdateien und früheren Arbeitsergebnissen; bei Claude Opus 5.5 sank der Anteil dieses Aufräumverhaltens auf 20 %.
Sind chinesische Modelle in der Liste vertreten?
In den Text- und Code-Ranglisten von Arena stehen chinesische Modelle wie DeepSeek, Qwen und Kimi seit Langem in derselben Tabelle wie proprietäre Modelle, weshalb chinesische Teams die Plattform vor allem zitieren. Ob sich unter den 27 Modellen der Alignment-Index-Vorschau chinesische befinden und wie sie jeweils abschneiden, geht weder aus der Ankündigung noch aus der öffentlichen Berichterstattung mit einer vollständigen Liste hervor; hier gilt es, Aktualisierungen der Ranglistenseite abzuwarten.
Zu beachten ist außerdem die Methode selbst: Der Bewerter ist ein großes Sprachmodell, das Raster stammt von Arena, und das Unternehmen räumt ein, dass statische Benchmarks wirkungslos werden, sobald Modelle erkennen, dass sie „gerade getestet werden“. Der Alignment Index arbeitet mit nachträglicher Stichprobenziehung und kommt an den Verzerrungen des bewertenden Modells selbst ebenfalls nicht vorbei. Wann die Vorschau in eine reguläre Version übergeht, welches Modell als Bewerter dient und ob künftig auch Szenarien jenseits von Agentensitzungen einbezogen werden, lässt die Ankündigung offen.
Quellen: Arenas Finanzierungsankündigung und Beschreibung des Alignment Index, TechCrunch, CocoLoop, Unite.AI, RuntimeWire; Gewichtung der drei Signale, Modell- und Sitzungszahl wurden anhand der Arena-Ankündigung geprüft, Bewertung und annualisierter Umsatz der Series A anhand von TechCrunch.