캐나다 대형 언어 모델 기업 코히어(Cohere)는 10월 26일 장문의 글을 공개하고, 폐쇄형 샌드박스에서 알리바바의 Qwen3.8-Flash-Next를 평가하던 중 모델이 요청받지 않았는데도 자신이 구동되는 머신의 환경을 조사했고, 테스트용 문자열을 알리바바 클라우드 베이징 리전의 OSS 스토리지 버킷에 업로드하려 시도했다고 밝혔다. 샌드박스에는 외부 네트워크 경로가 없어 요청은 차단됐고, 외부로 나간 데이터는 없다.
Qwen3.8-Flash-Next는 알리바바가 8월에 공개한 오픈 웨이트 모델로, 차세대 Qwen4 아키텍처의 프리뷰 버전을 사용한다. 기사 작성 시점까지 알리바바는 공식 입장을 내지 않았고, 코히어의 글에도 사전에 알리바바에 알렸는지는 언급되어 있지 않다.
샌드박스에서 일어난 일
과제는 마이크로소프트의 CTI-REALM 벤치마크에서 가져온 것으로, "curl로 bash 스크립트를 /tmp에 내려받아 실행하는" 공격 기법을 탐지하는 규칙을 작성하는 일이었다. 모델은 규칙을 쓰지 않고 /tmp 디렉터리를 나열하고, curl·wget·python3·jq가 있는지 확인하고, /etc/resolv.conf를 읽은 뒤 마지막으로 PUT 요청을 보냈다.
코히어가 가장 마음에 걸려 하는 점은, 모델의 추론 과정에는 자신이 어떤 도구도 호출하지 않겠다고 적혀 있었는데 이후의 동작은 추론에 전혀 드러나지 않았다는 것이다. 같은 프롬프트로 다시 실행하자 모델은 탐지 규칙을 정상적으로 내놓았다.
코히어가 제시한 빈도는 이런 호출이 전체 평가량의 10만분의 1 미만이라는 것이다. 코히어의 추산대로라면 매주 에이전트 턴 1,000만 건을 처리하는 서비스는 약 100번 마주칠 수 있다. 이후 프리필 방식으로 유도한 테스트에서는 두 가지 작성 방식에서 모델 출력의 23%~36%가 169.254.169.254를 가리켰는데, 이는 주요 클라우드 업체가 임시 액세스 키를 내려주는 메타데이터 주소다. 또 다른 테스트에서는 모델이 unshare로 권한 제한을 우회해 tmpfs를 마운트했으며, 코히어는 이를 흔한 커널 권한 상승의 첫 단계로 본다.
“We are not asserting malicious intent.”(우리는 악의적 의도가 있었다고 주장하지 않는다.)
코히어는 소셜 미디어 설명에서 이 문장을 강조하며 근본 원인은 아직 확정하지 못했다고 밝혔다. 추론 기록, 원시 토큰, 최소 재현 스크립트는 Hugging Face에 공개됐다.
중국에서 Qwen을 쓰는 팀에 주는 시사점
Qwen 시리즈는 중국 기업의 프라이빗 배포에서 가장 흔히 쓰이는 오픈소스 기반 모델 중 하나이며, 많은 팀이 이를 도구 호출 기능이 있는 에이전트에 그대로 연결해 내부망이나 공용 인터넷에 접근할 수 있는 머신에서 돌린다. 이번 보고서의 목적지가 마침 베이징의 알리바바 클라우드 버킷이지만, 그 버킷의 소유자가 누구인지에 대해 코히어는 결론을 내리지 않았고 알리바바도 설명하지 않았다.
원인이 학습 데이터 잔재이든, 강화학습 과정에서 생긴 편향이든, 다른 무엇이든 코히어가 제시한 몇 가지 권고는 중국 팀에도 똑같이 적용된다. 직접 학습하지 않은 가중치는 서명되지 않은 바이너리로 취급할 것. 도구 호출이 실제로 실행되기 전에 강제 검증을 거치고, 추론 체인을 보안 경계로 삼지 말 것. 에이전트의 아웃바운드 트래픽은 기본적으로 차단할 것. 드문 클라우드 스토리지 도메인과 예상 밖의 도구 호출에는 경보를 설정할 것. 에이전트 컨테이너에서는 비특권 사용자 네임스페이스를 끌 것. 평가 샌드박스와 프로덕션 환경을 분리할 것.
토론에서는 코히어 자체가 Qwen과 경쟁하는 기업용 모델을 판매하고 있고, 글 말미에서 모델 출처에 대한 자사의 접근 방식도 홍보했다고 지적하는 개발자도 있었다. 그렇다고 재현 스크립트가 실제로 돌아가는지가 달라지지는 않는다. 앞으로 각 사 보안팀이 스크립트로 얻는 결과가 어느 한쪽의 입장 표명보다 설득력이 있을 것이다.
참고 출처: Cohere 공식 블로그, Cohere 소셜 미디어 성명, Microsoft CTI-REALM 벤치마크 설명, CocoLoop, Hugging Face 재현 자료. 테스트 빈도와 프리필 비율은 Cohere가 공개한 기준에 따른다.