9 geprüfte Beiträge zu Benchmarks großer Modelle, Produkten und Branchenentwicklungen.
ThinkingBox von Microsoft und Hugging Face lässt KI-Agenten jede Aufgabe 20-mal wiederholen: Selbst das beste Modell meistert nur gut die Hälfte zuverlässig.
OpenAIs Sicherheitsdokument zu GPT-6 Astra zeigt einen deutlichen Rückgang der Überwachbarkeit der Gedankenkette, mit Zahlen zu Lieferkettenangriffen.
Laut Fortune wurden die Bewertungsdaten von OpenAIs GPT-6 Astra nach der Veröffentlichung mehrfach geändert, Halluzinationsrate und Mathe-Werte schwankten hin und her – belegbar bleiben nur Internet-Archiv-Schnappschüsse.
Anthropics Fable 5.1 führt den Gesamtindex von Artificial Analysis mit 66 Punkten an, doch der komplette Testlauf kostet 8523.16 US-Dollar mehr – bei unverändertem Listenpreis pro Million Token.
Das RDI Lab der UC Berkeley hat den Benchmark Vero veröffentlicht: KI-Agenten schreiben in Lean-4-Repositories Code und Beweis zugleich, die beste Erfolgsquote pro Spezifikation erreicht 87,3 Prozent, doch nur 27 von 43 Projekten werden vollständig gelöst.
Ein Test von Hume AI mit 11 ASR-Modellen zeigt: Die niedrigste Fehlerrate fällt oft mit der höchsten Quote an übernommenen Referenzfehlern zusammen – ein Warnsignal für die Modellauswahl in der Produktion.
Alibaba testet Agenten mit HS-Code-Klassifikation wird fuer deutschsprachige Tech-Leser eingeordnet, mit den zentralen Zahlen, Produktversprechen und offenen Pruefpunkten.
Der Benchmark mit 750 Aufgaben zeigt Hilfe in Life Sciences, aber große Distanz zu eigenständiger Forschung.
Ein Benchmark unter Leitung der Shanghai Jiao Tong University zeigt: Agenten finden oft die richtige Datei, aber nur 14 bis 19% der bugrelevanten Zeilen.