Tim 26 Orang Ciptakan Model Penalaran Open Source dengan 40 Miliar Parameter

Arcee AI adalah perusahaan kecil dengan hanya 26 karyawan, tetapi mereka baru saja melakukan sesuatu yang mengejutkan banyak orang di industri: menghabiskan sekitar setengah dari modal ventura mereka — $20 juta — untuk menjalankan 2.048 GPU Nvidia B300 selama 33 hari, melatih model penalaran open source dengan 40 miliar parameter bernama Trinity-Large-Thinking.

Kinerja tugas agen model ini cukup impresif: meraih peringkat pertama di tolok ukur Tau2-Airline (88 poin), peringkat kedua di PinchBench (91,9 poin, dibandingkan Claude Opus 4.6 milik Anthropic di 93,3), dan mencapai 96,3 di AIME25 untuk penalaran matematika. Model ini sepenuhnya open source di bawah lisensi Apache 2.0, dapat digunakan secara komersial, diunduh, dan dimodifikasi.

Bukan kekerasan, tetapi arsitektur MoE yang dimaksimalkan

Trinity-Large-Thinking adalah model Mixture of Experts (MoE) dengan total 40 miliar parameter, tetapi hanya sekitar 1,3 miliar yang diaktifkan per inferensi — menggunakan 256 ahli, hanya memilih 4 setiap kali. Ini berarti model ini memiliki "kapasitas pengetahuan" model besar sementara kecepatan inferensi dan konsumsi sumber daya mendekati model kecil.

Data pelatihan terdiri dari 17 triliun token, di mana lebih dari 8 triliun dihasilkan secara sintetis. Rasio ini sekarang umum di antara model open source berkualitas tinggi.

Dari sisi teknis, sorotan utamanya adalah algoritma SMEBU (Soft-clamped Momentum Expert Bias Updates) yang dikembangkan sendiri, dirancang khusus untuk mengatasi masalah "keruntuhan ahli" dalam pelatihan MoE skala besar. Seluruh proses pelatihan 17 triliun token mencapai "nol lonjakan kerugian" — pencapaian langka dalam pelatihan model besar, karena banyak model MoE mengalami ledakan kerugian mendadak di tengah jalan.

Kekuatan dan kesenjangan

Sejujurnya, Trinity-Large-Thinking tidak secara komprehensif melampaui Claude Opus, tetapi unggul dalam skenario tertentu.

Tolok UkurTrinity-Large-ThinkingClaude Opus 4.6
Tau2-Airline88 (1st)Tidak diungkap
PinchBench91,9 (2nd)93,3
AIME2596,3
GPQA-Diamond76,389,2
MMLU-Pro83,489,1

Tugas agen mendekati level teratas, sementara penalaran umum masih tertinggal sekitar 13 poin persentase. Namun mengingat ini adalah model open source yang dapat digunakan secara lokal, kesenjangan ini sudah cukup kecil.

Mereka juga merilis Trinity-Large-TrueBase secara bersamaan — versi "checkpoint mentah" yang mempertahankan status pra-pelatihan murni sebelum penyesuaian instruksi. Versi ini sangat berharga bagi peneliti AI fundamental, memungkinkan studi tentang bagaimana RLHF dan penyesuaian instruksi secara spesifik memengaruhi perilaku model.

Konteks yang lebih luas: Ketidakhadiran lama AI open source AS

Selama setahun terakhir, papan peringkat model besar open source didominasi oleh perusahaan China: DeepSeek, Qwen, Kimi, GLM — entri baru setiap beberapa bulan. Di sisi AS, Llama menjadi satu-satunya pesaing, tetapi Meta baru-baru ini menutup sumber beberapa model baru, menuai kritik dari komunitas open source. Arcee mengisi celah ini.

CEO Mark McQuade mengatakan target pengguna model ini adalah perusahaan: dapat digunakan secara lokal, dikustomisasi, dan tidak perlu mengirim data ke penyedia layanan cloud. Bagi institusi keuangan, kesehatan, dan pemerintah dengan persyaratan kepatuhan data, "dapat dijalankan di server sendiri" terkadang lebih praktis daripada skor tolok ukur.

26 orang, $20 juta, 33 hari, 40 miliar parameter.

Perusahaan kecil melakukan hal besar — semangat itu masih hidup di dunia AI.

Sumber: Arcee AI spent half its venture capital to build an open reasoning model that rivals Claude Opus in agent tasks (The Decoder); Tiny startup Arcee AI built a 400B-parameter open source LLM from scratch to best Meta's Llama (TechCrunch); CocoLoop, Arcee aims to reboot U.S. open source AI with new Trinity models released under Apache 2.0 (VentureBeat)