Together AI는 11월 21일 CEO 겸 공동창업자 Vipul Ved Prakash 명의로 보안 공지를 냈다. 공지에 따르면 올해 6월과 7월 이 회사의 서버리스 추론 서비스로 전송된 프롬프트 일부를 허가받지 않은 사람이 내려받았다. 발단은 접근 자격 증명 하나다. 회사가 AI 코딩 에이전트로 공개 코드 저장소를 개발하던 중, 에이전트가 이 자격 증명을 코드와 함께 커밋해 버렸다.

자격 증명 하나가 새어 나간 경위
공지 설명대로라면 Together는 평소 소프트웨어 테스트용으로 사용자 요청 일부를 추출한다. 이 샘플은 Hugging Face의 비공개 저장소에 보관돼 있었고, 회사는 이 용도가 승인된 것이라고 밝혔다. 샘플은 MiniMax M3, GLM-5.2, Kimi K2.6으로 보낸 요청에서 나왔으며 6월 24일, 7월 4일, 7월 8일, 7월 14일에 주로 몰려 있다.
사고가 난 지점은 다른 곳이다. Together는 GitHub에 xorl이라는 공개 저장소를 두고 있는데, 개발 과정에서 AI 코딩 에이전트가 커밋한 코드에 그 비공개 저장소에 접근할 수 있는 자격 증명이 들어 있었다. 자동 스캔이 이를 잡아냈고 Together는 해당 커밋을 철회했다. 그러나 자격 증명이 노출돼 있던 사이에 이미 누군가 그것을 손에 넣어, 저장돼 있던 프롬프트 샘플을 내려받았다.
상대는 이어서 두 가지를 했다. 샘플 속에서 다른 서비스의 자격 증명을 찾아내고, 그것들이 실제로 통하는지 하나씩 시험해 본 것이다. 다운로드한 쪽이 노린 것은 사용자가 프롬프트에 적어 넣은 키, 비밀번호, 토큰이었다.
미끼 자격 증명 5개
공지에는 눈에 띄는 대목이 하나 있다. 시험에 쓰인 자격 증명 중 5개는 보안업체 Dragos의 실험에서 쓰인 이른바 ‘카나리아’ 자격 증명이었다는 것이다.
이 실험은 얼마 전 Ars Technica가 보도했다. Dragos의 최고연구책임자 HD Moore는 추적 표식이 달린 가짜 키와 가짜 링크 200만 건 가까이를 프롬프트에 써넣고, 건마다 공급업체 한 곳에만 보낸 뒤 어느 것이 건드려지는지 지켜봤다. 그 결과 적어도 추론 호스팅 업체 세 곳에서 요청이 복제됐고, 미끼 AWS 키가 수만 번 호출됐다고 한다. OpenRouter가 MiniMax 모델과 관련해 사용자에게 보낸 주의 메일도 이 연구를 인용했다.
Together가 Moore가 말한 세 곳 중 하나인지는 공지에 적혀 있지 않으며, 공개된 정보로는 확인할 수 없다. 들어맞는 점은 하나뿐이다. Moore의 미끼가 Together에서 내려받아 간 샘플 안에 있었고, 누군가 그것을 시험해 봤다는 사실이다.
We have no reason to believe the unauthorized party has leaked this data further.
(의역: 허가받지 않은 쪽이 이 데이터를 더 유출했다고 볼 이유는 없다.)
Together는 이 데이터가 삭제된 것으로 믿는다고도 밝혔다. 삭제를 누가 어떻게 확인했는지는 공지에 나와 있지 않다.
적히지 않은 숫자
이 공지에는 날짜와 모델 이름은 있지만 규모는 빠져 있다. 영향을 받은 프롬프트가 몇 건인지, 고객이 몇 곳인지, 자격 증명이 공개 저장소에 얼마나 올라 있었는지, 어느 날 철회됐는지는 모두 적혀 있지 않다. 샘플에 민감한 개인 정보가 들어 있는지는 Together가 아직 검토 중이라고 하며, 통지가 필요한 고객에게는 따로 연락하겠다고 했다. 회사는 외부 포렌식 업체를 투입했고 수사기관에도 신고했다.
재발 방지 조치는 네 가지가 나열됐다.
- 자격 증명을 범위가 한정됐거나 단기간만 유효한 것으로 바꾸고, 키를 쓰지 않아도 되는 곳에서는 쓰지 않는다.
- 모든 병합 요청에서 자격 증명 검사를 거친다.
- 신규 계정은 기본적으로 제로 데이터 보존을 켠다.
- AI 코딩 에이전트를 쓰는 개발 절차를 갱신한다.
기존 계정은 자동으로 전환되지 않았다. 공지는 민감한 데이터를 다루는 고객이 설정에서 직접 켜기를 권할 뿐이다.
OpenRouter 메일과 나란히 놓고 보면
며칠 사이에 추론 서비스 업체 두 곳이 같은 연구 때문에 사용자에게 해명해야 했는데, 대응 방식은 꽤 다르다.
OpenRouter는 일부 사용자에게만 메일을 보냈고 공개 페이지는 없다. 책임은 상위의 MiniMax와 요청을 중계한 공급업체로 돌렸고, 조치는 관련 엔드포인트에서 제로 데이터 보존 표시를 떼는 것이었다. Together가 낸 것은 CEO 명의의 공개 블로그 글로, 문제가 자사 개발 과정에 있었음을 인정하고 신규 계정의 기본 설정을 바꿨다.
두 사건은 성격도 다르다. OpenRouter 사례에서는 프롬프트에 든 링크가 요청이 나간 지 수십 시간 뒤에 접속됐고, 접속한 쪽의 신원은 지금도 밝혀지지 않았다. Together 사례에는 분명한 침입 경로가 있다. 에이전트가 공개 저장소에 써넣은 자격 증명, 그리고 키를 찾아 헤맨 다운로더다.
내려받은 샘플에 해당하는 세 모델은 모두 중국 기업이 만든 것이다. 중국 팀이 해외용 제품을 만들 때는 Together 같은 해외 호스팅 업체를 거쳐 중국산 모델을 호출하는 경우가 많다. 6~7월에 이 세 모델을 쓰면서 프롬프트에 데이터베이스 연결 문자열이나 API 토큰을 붙여 넣은 적이 있다면, Together의 개별 통지를 기다리지 말고 먼저 자격 증명을 교체하는 것이 안전하다.
코딩 에이전트 자체의 문제도 있다. 키를 공개 저장소에 커밋하는 실수는 사람 엔지니어도 자주 저지르며, 이번에도 스캔 도구가 실제로 이를 잡아냈다. 다만 잡히기 전까지 노출 시간이 얼마나 됐는지는 Together가 공개하지 않았고, 어떤 코딩 에이전트였는지도 공지에는 언급이 없다.
참고 출처: Together AI 공식 보안 공지, CocoLoop, Ars Technica. Together 공지로 영향받은 모델과 샘플이 집중된 나흘, 네 가지 재발 방지 조치를 확인했고, Ars Technica로 Dragos 실험의 미끼 규모와 침해된 호스팅 업체 수를 확인했다.