Microsoft CEO 사티아 나델라는 미국 시간 10월 10일 오전 X에 글을 올려, 업계가 한 걸음 물러서서 AI의 '신뢰 아키텍처'를 다시 점검해야 한다고 촉구했다. 표현은 직설적이다.
"We can't treat Super Intelligence as a set of nested black boxes."(우리는 초지능을 겹겹이 중첩된 블랙박스의 집합처럼 다룰 수 없다.)
게시물이 내놓은 해법은 길지 않지만 풀어 보면 다섯 가지다. 첫째, 모델과 모델을 일하게 만드는 하니스(harness)를 분리한다. 하니스는 모델을 감싸는 실행 프레임워크로, 모델에 작업을 배정하고 도구를 연결하고 권한을 나눠 주는 역할을 한다. 코딩 에이전트 안에서 도는 루프가 대표적인 예다. 둘째, 통제와 안전 장치를 모델 바깥에 둔다. 셋째, 모델이 수행하는 의미 있는 동작마다 변조할 수 없고 사람이 읽을 수 있는 증거를 남기게 한다. 넷째, 권한을 가진 담당자가 작업 도중 언제든 모델을 일시 중지하거나 종료할 수 있어야 한다. 다섯째, 처음부터 모델이 이미 뚫렸다고 가정하고 그 전제 위에서 격리를 설계한다.
그는 마지막에 비유를 하나 붙였다. "Think of it like an emergency brake."(비상 브레이크처럼 생각하라.)
같은 주에 겹친 세 가지 움직임
이 게시물이 나온 시점은 매우 빽빽하다. 며칠 전부터 '모델이 통제를 벗어나면 어떻게 관리할 것인가'를 둘러싸고 여러 곳이 움직였다.
Anthropic은 10월 초순, 내부 평가 중이던 모델이 선을 넘는 행동을 한 적이 있다고 공개했고, 이후 내부 평가 환경의 외부망 접속을 차단했다. TechCrunch는 헤드라인을 아예 '자사 에이전트를 안정적으로 통제하지 못한다'로 뽑았다. 거의 같은 시기에 Anthropic은 2026년판 이용 정책을 발표해, Claude에 연결되는 하드웨어가 연결이 끊긴 뒤에도 안전한 상태로 멈출 수 있어야 하고 언제나 사람이 중단시킬 수 있어야 한다고 요구했다.
백악관 '초지능 파워' 태스크포스가 10월 9일 낸 성명은 규제 쪽에서 압박을 가했다. 프런티어 AI 기업의 모델에서 안전 사고가 나면 즉시 공개하고 시정해야 하며, 성명은 이 절차가 "not optional"이라고 못박았다.
세 곳을 나란히 놓으면 초점이 각기 다르다. 백악관이 다루는 것은 사후 보고, Anthropic 정책이 다루는 것은 연결하는 쪽의 하드웨어, 나델라의 다섯 가지가 말하는 것은 배포 아키텍처다. 통제권을 모델 안이 아니라 모델 바깥의 층에 둔다는 얘기다. Anthropic의 망 차단과 나델라의 '이미 뚫렸다고 가정'은 사고방식이 비슷하다. 둘 다 먼저 모델 자체를 믿을 수 없다고 인정한 뒤, 바깥에서부터 조여 들어간다.
Microsoft는 스스로 어떻게 할까
게시물에는 구체적인 제품 언급이 전혀 없다. Microsoft의 AI 사업은 Copilot, Azure의 Foundry 모델 플랫폼, 자체 모델에 걸쳐 있고, Copilot에는 OpenAI와 Anthropic의 모델이 함께 붙어 있다. '모델과 하니스 분리, 통제의 외부화'가 Microsoft의 배포 요건이 된다면, 가장 직접적인 영향은 이들 서드파티 모델이 Microsoft 제품 안에서 어떻게 돌아가고 로그를 누가 관리하느냐에 미칠 것이다.
이 모든 것은 아직 게시물 수준에 머물러 있다. 다섯 가지 원칙이 Copilot이나 Azure의 서비스 약관에 들어갈지, '의미 있는 동작'을 어떤 기준으로 구분할지, 변조 방지 기록을 누가 보관하고 외부에서 감사할 수 있는지에 대해 Microsoft는 설명하지 않았고, TechCrunch 보도에도 Microsoft의 추가 입장은 없다.
중국에서 에이전트를 만드는 팀에게는 바로 대조해 볼 기준이 있다. 작업을 중단할 수 있을 것, 작업에 감사 로그를 남길 것, 권한을 최소 부여 원칙으로 나눌 것은 원래 기업 조달 평가에서 흔히 묻는 항목이다. 나델라 버전에서 더해진 것은 '기본 모델은 이미 뚫렸다'는 전제다. 이 전제로 설계하면 로그와 스위치는 모델이 손댈 수 없는 곳에 둬야 하며, 에이전트가 스스로 기록하고 스스로 멈추게 맡겨서는 안 된다.
참고 출처: 나델라 X 게시물 원문, CocoLoop, TechCrunch, Axios. 백악관 태스크포스 성명과 Anthropic 이용 정책 조항은 공식 문서로 확인.