Sally Xu vom Data-Science-Team von xAI hat am 2. November auf der offiziellen Website beschrieben, wie das Team innerhalb von Grok Bot einen gemeinsamen Bot namens Data Bot aufgebaut hat. Er kann das Data Warehouse abfragen, Analysen durchführen, die Ergebnisse in der vom Fragesteller gewohnten Form liefern und auch in Slack-Kanälen mitarbeiten. Laut dem Beitrag hat er in der vergangenen Woche schätzungsweise 70 Stunden Arbeit erledigt, die sonst beim Data-Science-Team gelandet wären.
Die Zahl ist eine interne Schätzung, eine Erhebungsmethode wird nicht erläutert. Als Autor der Seite ist SpaceXSI angegeben; xAI ist in diesem Jahr mit SpaceX fusioniert. Zur Teamgröße heißt es nur, das Team sei „klein“, eine Personenzahl fehlt. Außenstehende können deshalb nicht berechnen, welchen Anteil die 70 Stunden ausmachen.
Vier Arten von Regeln hat man ihm beigebracht
Data Bot läuft auf der Team-Bot-Funktion von Grok Bot. Seine Fähigkeiten stammen aus gemeinsamen Skills, die das Datenteam pflegt, und gliedern sich in vier Bereiche:
- Kennzahlen und Analyse: einheitliche Definitionen für Kernmetriken wie aktive Nutzer und Umsatz, mit Angabe der Quelltabellen und der Abfragelogik. Schwankt eine Kennzahl, wird sie zuerst nach Marktsegment und Region aufgeschlüsselt, dann mit Feiertagen und dem Änderungsprotokoll des Produkts abgeglichen – erst danach folgt ein Urteil.
- Experimente: Aufbau von A/B-Tests, Power-Analyse, Prüfung auf ausgewogene Ausspielung und Stichprobenverzerrung sowie Rollout-Planung; ein Abschlussbericht wird erst geschrieben, wenn die Power ausreicht.
- Diagramme und Dashboards: Linien für Trends, horizontale Balken für Kategorienvergleiche, dazu das Theme und der Styleguide des Teams; Diagramme aus dem Chat lassen sich in Databricks- oder Hex-Dashboards überführen.
- Data Engineering: Richtlinien zum Schreiben und Prüfen von dbt-Modellen, Konventionen für Pipeline-Alarme und die Frage, wie bei neuen Features das Tracking ergänzt wird.
Hinzu kommt ein gemeinsamer Speicher. Der Bot merkt sich zum Beispiel, wer für eine bestimmte Pipeline zuständig ist oder dass ein Kennzahleneinbruch in Wahrheit auf einen regionalen Feiertag zurückging. Solche neuen Einträge müssen von Administratoren genehmigt werden und gelten erst danach für alle Nutzer. Was einer beigebracht hat, muss ein anderer nicht noch einmal erklären, und für falsche Erinnerungen gibt es eine Sperre.
Wer ihn nutzt
Der Beitrag nennt drei Kolleginnen und Kollegen außerhalb der Datenrollen.
Produktmanager Kevin Niparko behandelt ihn wie einen Kollegen, den man fragt: Antworten kommen in wenigen Minuten, und bei Nachfragen muss die Analyse nicht von vorn laufen. Er mag kurze Schlussfolgerungen mit Diagramm, und genau so gibt Data Bot sie aus. Seine Beschreibung:
„having a data scientist in his pocket“
(einen Data Scientist in der Tasche haben.)
Jon Brenner aus dem Lifecycle-Marketing gibt dem Bot eine Braze-Kampagnen-ID und fragt, was die Empfänger, die die E-Mail geöffnet haben, danach getan haben. Für die Aktion zu X Subscription ermittelte er so, wie viele Empfänger tatsächlich den Tarif gewechselt haben – eine Frage, die Brazes eigene Kennzahlen nicht beantworten können.
Katy Abbaszadeh, Director of Revenue Growth, misst damit, wie stark Kampagnen die Vertriebspipeline und bestehende Deals voranbringen, verfolgt wöchentliche Ziele, prüft, wo der Fortschritt hängt, und macht aus den Ergebnissen Diagramme für Präsentationen.
In Slack kann der Bot außerdem Aufgaben nach Zeitplan ausführen, etwa eine Kennzahl nach den Vorgaben des Datenteams verfolgen oder einen Wochenbericht verschicken. Kolleginnen und Kollegen können direkt auf den Bericht zurückfragen oder ihn bitten, auffällige Schwankungen zu untersuchen. Komplexe Analysen, die mehr Urteilsvermögen erfordern, bleiben laut dem Beitrag beim Datenteam; das Team räumt zudem ein, noch auszuloten, welche zusätzliche Anleitung der Bot braucht.
Interne Werkzeuge und Produkte: zwei Wege
Im Vergleich gibt es aus dem vergangenen Jahr einige Referenzfälle.
Anthropic hat im Juni seine interne Praxis öffentlich gemacht: Wurden Geschäftsdaten direkt an Claude angebunden, lag die Genauigkeit nur bei 21 %; nachdem man zuerst Definitionen und Regeln eingespeist hatte, konnte Claude etwa 95 % der Datenanalysefragen selbst beantworten. OpenAI hat im September in ChatGPT Work einen Data agent ergänzt und geht damit den Produktweg: Er verbindet Datenquellen wie Snowflake und BigQuery und baut Dashboards direkt in sechs Werkzeugen, darunter Tableau und Power BI.
Der Beitrag von xAI ähnelt eher dem Weg von Anthropic: Ein internes Team schreibt implizites Wissen in Skills auf, das Modell ist nur der Ausführende. Anders als Anthropic veröffentlicht xAI keine Genauigkeit, weder einen Vorher-nachher-Vergleich noch eine Aussage dazu, wie falsche Antworten entdeckt werden. Für Produktmanager und Marketingleute, die fragen und oft nicht in der Lage sind, eine SQL-Abfrage selbst nachzuprüfen, wiegt diese Lücke schwerer als die 70 Stunden, wenn es darum geht, ob andere Unternehmen das nachbauen können.
Ähnlich verhält es sich bei den Berechtigungen. Der Beitrag erwähnt, dass Speicheränderungen genehmigt werden müssen, sagt aber nichts darüber, wer welche Tabelle abfragen darf. Wie bei einem unternehmensweit zugänglichen, ans Data Warehouse angeschlossenen Bot der Zugriff auf Umsatz- und Nutzerdaten abgegrenzt wird, erläutert der Text nicht.
Ob es Pläne gibt, Data Bot extern zu verkaufen, steht ebenfalls nicht im Beitrag. Grok Bot auf der Seite lässt sich herunterladen, zudem kann man den Vertrieb kontaktieren; im Oktober dieses Jahres begann er außerdem, Nutzern eigene E-Mail-Adressen zuzuweisen. Ob externe Kunden die Team-Bot-Funktion im gleichen Umfang nutzen können, muss sich an späteren Produktangaben von xAI zeigen.
Quellen: offizieller xAI-Blog, CocoLoop, offizieller Grok-Bot-Account; die 70 Stunden beruhen auf einer internen Schätzung des Teams, die Vergleichsdaten zu Anthropic und OpenAI stammen aus früheren öffentlichen Angaben der beiden Unternehmen.