Thinking Machines Lab은 11월 20일 Inkling 2 Mini를 발표하고 전체 가중치를 공개했다. 총 파라미터 26.4B의 전문가 혼합(MoE) 모델로, 토큰당 3.4B 파라미터가 활성화되며 전체 메모리 점유량은 약 20GB다. 회사는 노트북에서 돌릴 수 있을 만큼 작다고 설명한다. 출시 시점에 지원하는 로컬 실행 방식은 Ollama이며, 메모리 32GB 이상의 Mac이면 된다.
가중치는 Hugging Face에 올라와 있다. 함께 연구용으로만 쓸 수 있는 가변 루프 버전 TML-d24-varloop-research도 공개됐다.
중간 층을 세 번 돌리는 "루프형 Transformer"
Inkling 2 Mini의 구조는 일반적인 소형 모델과 다르다. 저장된 층은 24개이고, 6개 층씩 네 개의 블록으로 나뉜다. 이 가운데 두 번째와 세 번째 블록은 토큰마다 세 번씩 반복 실행되므로, 토큰 하나가 실제로 거치는 층 연산은 48번이다. 저장되는 파라미터는 늘지 않았지만 연산 깊이는 두 배가 됐다. 루프를 포함하면 토큰당 활성화되는 가중치는 5.4B다.
학습 과정에는 가지치기(pruning) 단계가 있다. 모델은 처음에 전문가 384개를 두고 토큰마다 8개를 선택했는데, 학습 도중 3분의 2를 잘라내고 층마다 가장 많이 쓰인 128개만 남긴 뒤, 내부의 더 큰 Inkling 모델에서 증류한 1조 토큰으로 성능을 회복시켰다. 후속 학습에는 지도 미세조정과 총 2.2조 토큰 규모의 강화학습이 포함된다.
양자화와 관련해 팀은 학습부터 배포까지 NVFP4 형식(마지막 4개 층만 MXFP8)을 그대로 사용했기 때문에 양자화 변환에 따른 정확도 손실이 없다고 밝혔다. GGUF 버전은 Unsloth와 llama.cpp를 통해 받을 수 있다.
공식 시연은 모두 비행기 모드로 설정한 MacBook Pro(M5 Pro, 메모리 48GB)에서 이뤄졌다. 몇 분 만에 비행 시뮬레이터를 작성했고, 에이전트 20개가 사는 픽셀 아트 마을도 만들었다.
Qwen3.8-27B와 항목별 비교
공식 비교표는 크기가 비슷한 네 모델 Gemma 4 31B, Muse Glimmer, Qwen3.8-27B, Nemotron 3.5 Super VL을 골랐다. Inkling 2 Mini와 가장 접전인 상대는 Qwen3.8-27B다.
| 평가 | Inkling 2 Mini | Qwen3.8-27B |
|---|---|---|
| DeepSWE v1.1 | 48.2% | 42.2% |
| SWE-bench Pro v2 Hard | 77.9% | 73.8% |
| MCP Atlas | 82.7% | 77.3% |
| ARC-AGI v2 | 49.3% | 42.4% |
| Terminal Bench v2.1 | 71.6% | 73.0% |
| MMMU Pro | 74.9% | 76.3% |
| AA-Omniscience 비환각률 | 63.4% | 71.4% |
Artificial Analysis 인텔리전스 지수에서는 두 모델 모두 20.1로 같다. 대체로 에이전트 코딩과 도구 호출 작업에서는 Inkling 2 Mini가 앞서고, 터미널 조작, 멀티모달 이해, 지식 정확도에서는 Qwen3.8-27B가 낫다. 이 수치는 모두 Thinking Machines가 직접 평가한 것이며, 페이지에는 모델별 평가 설정이 완전히 같지 않다고 명시돼 있다. 아직 제3자 순위표의 재검증 결과는 없다.
외부 기관이 참여한 부분은 전력 효율뿐이다. 스탠퍼드의 두 연구실이 128GB NVIDIA DGX Spark에서 측정한 "와트당 지능" 점수는 Inkling 2 Mini가 0.703, Qwen3.6-35B-A3B가 0.430이었다. 이 테스트에서 Inkling은 MXFP8과 낮은 추론 강도를, 다른 모델은 NVFP4 또는 INT4를 사용해 조건이 동등하지는 않았다.
공식이 직접 밝힌 약점
발표문에는 한계를 다루는 별도 절이 있으며 분량도 적지 않다.
팀은 Inkling 2 Mini가 멀티턴 대화나 다중 제약 지시 수행에서 가장 강한 소형 모델은 아니다라고 인정했고, MultiChallenge 점수는 50.0%다. CritPt v2, HLE-Diamond 같은 고난도 추론 평가에서는 더 큰 모델에 뒤처진다. 루프 구조가 더하는 것은 연산 깊이일 뿐 더 많은 지식을 담지는 못하므로, 지식 평가 성적은 같은 크기의 모델과 비슷하다. 회사가 내놓은 보완책은 검색과 도구를 더 많이 쓰게 하는 것이다.
안전성 평가에는 보기 드문 수치도 있다. 모델이 자신의 사고 사슬(chain of thought)을 통제하는 능력이 매우 낮아, 750~1,250 토큰 구간에서 지시대로 사고 과정을 조정하는 데 성공한 비율이 최대 0.1%에 그쳤다.
자주 묻는 정보 가운데 공지 본문에 없는 것도 있다. 라이선스 이름, 컨텍스트 길이, Tinker에서의 가격이다. 11월 5일 공개된 Inkling 2 Small은 당시 Apache 2.0으로 공개하겠다고 약속했는데, Mini가 이를 따르는지는 모델 카드 확인을 기다려야 한다.
중국 개발자에게 20GB 규모는 32GB 메모리 Mac이나 주류 24GB VRAM 그래픽카드 근처에 놓이며, SGLang, vLLM, Ollama가 모두 지원돼 로컬에서 돌리는 문턱이 높지 않다. 기존 Qwen 소형 모델을 이것으로 바꾸기 전에 자신의 작업으로 멀티턴 대화와 중국어 성능을 먼저 테스트해 보는 편이 안전하다. 이 두 항목에 대해서는 공식 데이터가 없다.
참고 출처: Thinking Machines Lab 공식 발표, CocoLoop, Hugging Face 모델 페이지. 파라미터 규모, 메모리 점유량, 각 평가 점수는 공식 비교표를 따랐으며, 전력 효율 데이터는 스탠퍼드 연구실의 측정 기준이다.