소형 모델, 수개월 내 TV 박스서 자기 복제 가능성

Anthropic 프런티어 레드팀이 10월 12일 공개한 연구는 매개변수 규모가 크지 않은 오픈 웨이트 모델이 앞으로 수개월 안에 저렴한 사물인터넷(IoT) 기기에서 스스로 복제할 능력을 갖출 수 있다고 결론 내렸다. 대상은 수십 달러짜리 안드로이드 TV 박스 같은 기기다. 저자인 William Zhou와 Daniel Freeman은 이런 프로그램을 '가중치형 복제기'라고 부른다. 모델이 직접 네트워크를 스캔하고, 기기에 침입하고, 가중치를 복사하고, 새 기기에 추론 서비스를 구축한 뒤 거기서 다시 바깥으로 퍼져 나가는 방식이다.

논문의 표현은 다음과 같다.

“may be months away from being capable enough to self-replicate on commercial internet-of-things (IoT) devices”
(상용 IoT 기기에서 자기 복제할 만큼의 능력을 갖추기까지 몇 달밖에 남지 않았을 수 있다.)

네 단계로 나눠 시험

연구는 복제 과정을 단계별로 쪼개 살폈다. 첫 단계는 낯선 하드웨어에 추론 환경을 배포하는 것이다. Qwen3.5-9B는 9종 하드웨어 중 8종에서 스스로 추론을 띄웠다. Jetson Nano에서 Mac, RTX 4090까지 포함되며, 1회 작업에 28~51시간이 걸렸다. 더 큰 Gemma4-26B-A4B는 대당 약 55달러에 메모리 4GB를 갖춘 안드로이드 TV 박스 15대에 쪼개 실행됐다. 속도는 초당 약 0.3토큰이었고, 배포 전체에 71~150시간이 들었다.

두 번째 단계는 엔드투엔드 복제다. 팀은 구글 클라우드에 8개 노드 모의 네트워크를 만들고, 스캔과 침입, 가중치 전송, 추론 배포를 한 번에 해내도록 모델에 맡겼다. 오픈 웨이트 모델 중 안정적으로 완주한 것은 GLM-5.2뿐이었다. 5차례 시험 가운데 4차례는 8개 노드 전체로 퍼졌고, 나머지 1차례는 7개 노드까지 갔다. 300억 매개변수 미만 모델은 대부분의 단일 단계를 해냈지만 연쇄가 길어지면 오류를 냈다.

세 번째 단계는 '세대 간 학습' 시험이다. Qwen3.5-9B에 앞 세대가 남긴 메모를 다음 세대에 넘기게 해 6세대, 20개 계보를 돌렸다. 성공률은 1세대의 45%에서 이후 세대에서는 61~84%로 올랐다. 연구진은 Claude Opus 4.8을 조언자로 붙여 소형 모델을 지도하게도 해 봤지만 유의미한 개선은 없었다.

규모와 속도

Anthropic은 Kimwolf 봇넷을 기준으로 추산했다. 같은 종류의 기기 200만 대 이상이 감염되면 약 13만 3천 개의 모델 사본을 돌릴 수 있고, 합산 처리량은 초당 약 8만 토큰으로 H100 약 40장에 해당하는 연산력이다. 이런 네트워크는 중심 노드가 없어 한 번에 끊기 어렵다. 다만 확산이 느려, 사본 수가 두 배가 되는 데 며칠이 걸린다.

저자들은 몇 가지 한계도 밝혔다. 실험의 침입 단계는 인증 없는 ADB 디버깅 포트로 단순화했으므로 성공률은 상한선으로 봐야 한다. 추세 추정에 쓴 ECI는 범용 능력 지표여서 복제 능력을 직접 재지는 않는다. 속도와 규모는 한 종류의 하드웨어와 과거의 봇넷 하나에만 근거한다. AI 봇넷이 방어 측과 맞서는 상황은 시험하지 않았다. 소형 모델이 쓰는 스피어피싱 메일의 수준에 대해 연구는 '매우 나쁨'에서 '나쁨' 정도로 평가했다.

중국과는 어떤 관계인가

이번 시험의 주력 모델인 알리바바의 Qwen과 즈푸AI(Zhipu AI)의 GLM은 모두 중국 업체의 오픈 웨이트다. 연구는 이 모델들에 결함이 있다고 말하지 않는다. 쓰인 것은 오히려 성능이 뛰어나고 로컬에서 돌릴 수 있다는 장점이다. 두 회사는 아직 이 연구에 대해 공식 입장을 내지 않았다.

숙주로 지목된 안드로이드 TV 박스, 프로젝터 등 각종 박스형 기기는 중국 가정에 대량 보급돼 있다. 출고 때부터 디버깅 포트가 열려 있고 기본 비밀번호를 바꾸지 않는 문제는 보안업계가 오래전부터 경고해 왔다. 영국은 IoT 기기의 기본 비밀번호를 법으로 금지했지만, 중국에 이에 맞먹는 강도의 의무 조항은 공개 자료에서 확인되지 않는다.

방어 방안은 미라이(Mirai) 시기의 경험을 따랐다. 통신사가 트래픽 이상을 감시하고, 감염된 이용자를 격리한 뒤 통지해 정리하도록 하는 것이다. 이 방식은 당시 14일 안에 감염의 92%를 정리했고, 통지하지 않은 대조군은 74%였다. Anthropic이 내건 목표는 복제기의 기초감염재생산수 R₀를 1 아래로 누르는 것이다.

연구에는 수치가 하나 더 있다. 배포 단계를 하드코딩된 스크립트로 바꾸면 30억 매개변수 모델도 17개 노드 네트워크의 절반가량 기기를 장악할 수 있었다. 모델이 작을수록 기기에 올리기 쉽다. 이 선이 앞으로 어디까지 움직일지는 오픈 소형 모델의 다음 업데이트 폭에 달렸다.

참고 출처: Anthropic 프런티어 레드팀 연구 블로그, CocoLoop, 연구 페이지(각 모델의 매개변수 규모, 하드웨어 종류, 성공률, 세대 간 성공률, Kimwolf 규모 추산 방식을 확인)