Kimi K3는 2.8조 파라미터와 100만 토큰 컨텍스트로 주목을 받았다. 그러나 곧 전혀 다른 성적표가 나왔다.
영국 AI Safety Institute와 미국 Center for AI Standards and Innovation은 7월 23일 Kimi K3의 공격적 사이버 능력을 공동 평가했다. Kimi K3는 GLM-5.2보다 높았지만 미국 최상위 사이버 모델과는 큰 차이를 보였다.
ExploitBench에서 드러난 격차
41개 과제로 구성된 ExploitBench에서 Kimi K3는 32.2%, GLM-5.2는 24.4%, 미국 선두 모델 평균은 76.2%였다. 임의 코드 실행 성공은 Kimi K3가 0회, 미국 선두 모델은 20회였다.
한 번의 완주도 가볍지 않다
비공개 32단계 기업망 공격 시뮬레이션 The Last Ones에서도 비슷했다. AISI는 인간 전문가가 보통 20시간 걸리는 과제라고 설명했다. Kimi K3는 평균 17단계, 미국 모델은 28.5단계까지 갔다. 다만 10번 중 1번은 전체 공격을 끝냈다.
따라서 결론은 단순하지 않다. Kimi K3는 미국 최상위 사이버 모델급은 아니지만, 방어가 약한 작은 기업망에서는 자율 공격을 완성할 수 있다.
일반 점수와 사이버 점수는 다르다
The Decoder는 이 결과를 증류 논쟁과 연결했다. 공개 인터페이스가 고위험 공격 요청을 막는다면, 그 출력으로 학습한 모델은 깊은 공격 능력을 얻기 어렵다. 일반 성능과 사이버 위험은 따로 봐야 한다.
Moonshot은 아직 공개 답변을 내지 않았다. 이제 확인할 지점은 K3의 사이버 안전 카드, 위험 요청 차단 방식, 독립 재평가 가능성이다.
출처: UK AISI/CAISI 공동 평가, 미국 NIST 공지, The Decoder, CocoLoop, South China Morning Post, Kimi K3 공식 기술 블로그; ExploitBench 41개 과제, 32.2%/24.4%/76.2% 점수, 임의 코드 실행 횟수, The Last Ones 32단계 구성, 10회 중 1회 완주, Kimi K3 파라미터와 컨텍스트 수치를 확인.