Cloudflares Entscheidungsmodell versteht jetzt Video und Audio

Am 9. Oktober hat Cloudflare Clef-omni veröffentlicht und seine Reihe der „Entscheidungsmodelle“ damit um Audio und vollständige Videoeingaben erweitert. Die Gewichte liegen auf Hugging Face unter der Apache-2.0-Lizenz, die gehostete Version läuft auf Workers AI. Seit der Erstveröffentlichung von Clef und Clef-flash sind nur acht Tage vergangen.

Die Aufgabe eines Entscheidungsmodells ist eng umrissen: Der Aufrufer übergibt einen Zustand und einen Satz vorgegebener Fragen mit jeweils mehreren Antwortoptionen, das Modell vergibt für jede Option eine Wahrscheinlichkeit. Es erzeugt keinen Freitext, und die Ausgabe muss auch nicht geparst werden. Als interne Anwendungsfälle nennt Cloudflare unter anderem das Erkennen und Schließen von Spam-Issues in GitHub-Dokumentations-Repositories, das Aussortieren von Phishing in Plugin-Verzeichnissen, das Durchsuchen von Daten nach personenbezogenen Angaben wie Ausweisnummern und die Einstufung bösartiger Domains.

Vier Eingabearten in einem Aufruf

Das bisherige Clef verarbeitete Text, Bilder und aus Videos extrahierte Einzelbilder. Clef-omni nimmt WAV- und MP3-Audio sowie MP4- und WebM-Video direkt entgegen und verarbeitet Tonspur und Bild synchron. Auch hier gibt es weder Transkription noch Beschreibung: Das Modell führt nur einen Prefill-Durchlauf aus und bewertet alle Modalitäten und alle Optionen gemeinsam.

Die von Cloudflare genannten Median-Latenzen: bei reinem Text rund 130 Millisekunden, bei Bildern rund 150 Millisekunden, bei Audio einige hundert Millisekunden und bei einem 21 Sekunden langen Video mit Ton rund 1,5 Sekunden.

Als Basis dient Alibabas Qwen3-Omni-30B-A3B-Instruct, ein Mixture-of-Experts-Modell. Cloudflare behält den Verständnisteil, verwirft die Komponenten zur Sprachsynthese, friert das Rückgrat ein, feintunt per LoRA und ergänzt einen kleinen Transformer als Bewertungskopf. Laut Model Card läuft das Modell in bfloat16 auf einer einzelnen H200; das Rückgrat benötigt etwa 64 GB Grafikspeicher.

Die Werte schlagen den Vorgänger nicht durchgängig

In Cloudflares eigener Vergleichstabelle liegt Clef-omni bei den meisten Posten hinter dem rein visuellen Clef. Beim Tool-Retrieval ToolRet steht es 66,6 zu 69,19, bei When2Call, der Frage, wann ein Tool aufgerufen werden sollte, 63,3 zu 72,37, bei der Phishing-Erkennung PhishNChips 73,2 zu 79,60. Am größten ist der Rückstand bei Befehlen für Haushaltsgeräte: 69,3 zu 82,95. Bei der Bankintent-Klassifikation BANKING77 und der Intent-Erkennung CLINC150+OOS liegt es knapp vor Clef.

Nimmt man Jev, das Entscheidungsmodell von TypeSafe, als Referenz, liegt Clef-omni bei When2Call mehr als 17 Punkte zurück und bei BANKING77 15 Punkte vorn. Alle Werte stammen von Cloudflare selbst; Details zur Evaluierung nennt der Blogbeitrag nicht.

Zwei Anpassungen am selben Tag

Der gehostete Preis von Clef-flash sinkt von 0,09 auf 0,038 US-Dollar pro eine Million Eingabe-Token; laut Cloudflare ist es damit günstiger als Jev. Der Preis dafür: Das Kontextfenster der gehosteten Version schrumpft von 64k auf 24k, begründet damit, dass nur 0,24 % der Anfragen über 24k hinausgehen. Die quelloffenen Gewichte auf Hugging Face sind davon nicht betroffen und wurden weiterhin mit 256k trainiert. Der Preis von Clef bleibt unverändert; nachdem Cloudflare die Inferenz auf SGLang umgestellt hat, ist die Median-Latenz um das 1,7- bis 2,0-Fache gesunken.

Schon wieder ein Qwen-Fundament

Vor drei Tagen hat Microsoft mit Decision-1 ebenfalls ein Entscheidungsmodell für Multiple-Choice-Aufgaben vorgestellt, Basis ist Qwen 9B. In dieser Woche haben also zwei US-Konzerne nacheinander vergleichbare Produkte gebracht, beide auf Grundlage von Alibabas Open-Source-Modellen. Für Entwickler in China sind die Clef-Gewichte direkt herunterladbar und großzügig lizenziert, die API soll laut Hersteller zu Jev kompatibel sein, die Hürde für einen selbst betriebenen Dienst zur Moderation, zum Routing oder zur Ticket-Vorsortierung ist also niedrig. Wie sich der gehostete Dienst Workers AI in China erreichen lässt, hat Cloudflare nicht eigens erklärt; vor dem Produktiveinsatz sollte man das selbst testen.

Quellen: Cloudflare-Blog, Hugging Face Model Card (Lizenz, Basismodell und Speicherbedarf), CocoLoop, ITHome, RuntimeWire; Benchmarkwerte und Preise nach Cloudflares eigenen Angaben.