Moonshot AI hat vor K2 das Modell K1.5 veröffentlicht, dessen Kernmerkmal die Nutzung von reinem Reinforcement Learning zur Verbesserung der Schlussfolgerungsfähigkeiten ist.
Technischer Ansatz
Die Schlussfolgerungsverbesserung von K1.5 folgt nicht dem üblichen Weg über SFT (Supervised Fine-Tuning) oder RLHF, sondern setzt verstärkt auf reines RL (Reinforcement Learning) Training.
Dies ähnelt dem Ansatz von DeepSeek R1 – das Modell lernt durch umfangreiches Versuch-und-Irrtum sowie Belohnungssignale selbstständig Schlussfolgerungen zu ziehen, anstatt durch von Menschen annotierte "korrekte Denkschritte" unterrichtet zu werden.
Die Vorteile sind:
- Keine Einschränkung durch Qualität und Quantität menschlich annotierter Daten
- Das Modell kann Schlussfolgerungsstrategien erlernen, die menschlichen Annotatoren nicht eingefallen wären
- Theoretisch einfacher zu skalieren
Leistung
K1.5 erreichte bei mathematischen Schlussfolgerungs-Benchmarks Spitzenwerte unter den zeitgenössischen Open-Source-Modellen. Obwohl noch eine Lücke zu geschlossenen Modellen wie GPT-4o und Claude Opus besteht, liegt diese Lücke in einem akzeptablen Rahmen.
Wichtiger ist, dass K1.5 die Machbarkeit des reinen RL-Ansatzes bei Modellen mittlerer Größe bestätigt hat. Dies legte die technische Grundlage für die Entwicklung von K2 und K2.5.
Beziehung zu K2
K1.5 fungiert wie eine technische Vorabversion von K2 – nachdem der RL-gesteuerte Schlussfolgerungsansatz validiert war, wandte K2 diese Methodik direkt im Billionen-Parameter-Maßstab an und fügte gleichzeitig eine MoE-Architektur zur Kontrolle der Rechenkosten hinzu.
Der Iterationsprozess von K1.5 zu K2 zeigt, dass die Forschungsroadmap von Moonshot AI darin besteht, zuerst die Methodik zu validieren und dann zu skalieren, anstatt von Anfang an mit einer großen Parameteranzahl zu starten. Diese schrittweise Strategie ist für Teams mit begrenzten Ressourcen sehr pragmatisch.
Quellenangabe: CocoLoop, Moonshot AI Technologie-Blog