4 geprüfte Beiträge zu Benchmarks großer Modelle, Produkten und Branchenentwicklungen.
Ein Test von Hume AI mit 11 ASR-Modellen zeigt: Die niedrigste Fehlerrate fällt oft mit der höchsten Quote an übernommenen Referenzfehlern zusammen – ein Warnsignal für die Modellauswahl in der Produktion.
Alibaba testet Agenten mit HS-Code-Klassifikation wird fuer deutschsprachige Tech-Leser eingeordnet, mit den zentralen Zahlen, Produktversprechen und offenen Pruefpunkten.
Der Benchmark mit 750 Aufgaben zeigt Hilfe in Life Sciences, aber große Distanz zu eigenständiger Forschung.
Ein Benchmark unter Leitung der Shanghai Jiao Tong University zeigt: Agenten finden oft die richtige Datei, aber nur 14 bis 19% der bugrelevanten Zeilen.