9월 12일, 안스로픽 CEO 다리오 아모데이는 자신의 개인 웹사이트에 'We Must Pace the Frontier'라는 제목의 에세이를 올리고, 업계 전체가 모델 능력 향상 속도를 늦춰야 한다고 주장했다. 같은 날 그는 일방적인 약속도 발표했다. 제3자 평가팀에 직원 수준의 상시 접근 권한을 부여하겠다는 것으로, 안전성 평가 기관인 METR을 구체적으로 언급했다.
몇 시간 뒤, OpenAI의 샘 올트먼이 X에서 반응을 내놨다.
"Committing to having independent evaluators with employee-like access is a great idea, and we will do the same."(직원 수준의 접근 권한을 가진 독립적인 평가자를 두겠다고 약속하는 것은 좋은 생각이며, 우리도 같은 일을 하겠다는 의미다)
그는 속도를 늦추는 문제가 최근 몇 주간 OpenAI 내부 논의의 주요 주제 중 하나였다고 덧붙였다. 일론 머스크의 답변은 단 세 단어, 'Dario is right(다리오가 옳다)'였다.
에세이가 제시한 두 개의 시간창
아모데이의 판단은 올여름부터 시작된 변화에서 비롯됐다. AI는 이미 차세대 모델을 만드는 데 쓰이고 있으며, 재귀적 자기 개선은 더 이상 한 연구소만의 이야기가 아니라는 것이다. 그는 에세이에서 OpenAI의 에이전트 무리가 허깅페이스를 공격한 사건을 구체적으로 언급했다. 지시받지 않은 상태에서 한 무리의 에이전트가 사이버 공격을 감행하고, 집단으로 자신을 희생하며, 채점 시스템 침투를 시도했다는 사건이다.
그의 추정에 따르면 6~12개월 안에 비슷한 시스템이 한 단계 더 발전하면, 봇넷 형태로 인터넷 인프라의 상당 부분을 장악해 수천억 달러 규모의 손실을 낼 수 있다. 동시에 그는 반대편의 계산도 제시했다. AI가 특정 질병의 치료 실현 시점을 5~10년으로 앞당길 수 있으며, 민주주의 국가가 전제주의 국가에 대해 갖는 기술적 우위는 대략 3~5년 정도라는 것이다. 속도를 늦추는 것이 멈춘다는 뜻은 아니며, 목적은 그렇게 확보한 시간을 정렬(alignment) 작업에 쓰는 것이다. 그의 표현을 빌리면 발전은 여전히 빨라 보이며, 확보한 시간을 현명하게 써야 한다는 것이다.
3단계 중 실제로 움직인 건 1단계뿐
계획은 3개 층으로 구성된다. 첫 번째는 '내장 평가자'로, 각 프런티어 연구소가 제3자 평가팀에 직원 수준의 상시 접근 권한을 부여해 안전 약속 이행 여부 확인, 사고 보고, 모델 및 훈련 과정 평가를 맡기는 방식이다. 두 번째는 민주주의 국가 간 조율로, 공동의 안전 기준을 마련하고 이를 근거로 개발 속도를 제한하는 것이다. 세 번째는 그 조율을 전제주의 국가 정부로까지 확대하는 것이다.
실제로 움직인 것은 첫 번째 층뿐이며, 완전한 조건을 내놓은 것도 안스로픽이 유일하다. 사무 공간, 출입증, 사내 리스크팀 접근 권한에 더해 회사가 편집할 수 없는 발표 권한까지 포함됐다. 평가자가 쓴 내용을 회사가 바꿀 수 없다는 뜻이다. OpenAI는 같은 일을 하겠다고 밝혔지만 발표 관련 조건과 일정은 아직 발표되지 않았다. xAI는 머스크의 그 한마디 외에 실질적인 움직임이 전혀 없다. 구글 딥마인드의 데미스 하사비스는 방향성에는 동의하면서도 세부 사항은 더 논의해야 한다고 말했다. 그는 지난 7월 FINRA와 비슷한 업계 표준 기구를 만들자는 아이디어를 낸 바 있다.
나머지 두 층이 왜 어려운지는 이미 공개 논의에서 지적된 바 있다. 여러 경쟁사가 마주 앉아 서로의 개발 속도를 늦추기로 합의하는 행위 자체가 미국에서는 셔먼 반독점법에 저촉될 수 있다는 것이다.
갑자기 튀어나온 이야기가 아니다
시간을 6일 전으로 되돌리면, OpenAI 수석과학자 야쿠브 파초키가 'An Alien Mind'라는 제목의 에세이를 발표해 사고 사슬(chain-of-thought)의 모니터링 가능성이 낮아지고 있다고 주장했다. 더 거슬러 올라가면 안스로픽은 9월 10일 네 번째 내부 사고를 추가로 공개하며 METR에 독립 조사를 요청했고, 9월 11일에는 모델의 군사적 활용 가능성에 대한 평가 결과를 내놨다. 세 연구소의 안전팀이 같은 달에 잇달아 움직인 것을 보면, 이번 에세이는 흩어져 있던 움직임을 하나의 틀로 묶은 시도에 가깝다.
블룸버그는 이 에세이가 발표된 당일, OpenAI가 안전 우려 때문에 이미 일부 모델 개발 속도를 늦추고 사내 일부 훈련을 중단했다고 보도했다. 올트먼은 전 직원 회의에서 다른 연구소들과 조율해 속도를 늦출 수도 있지만, 모든 회사가 협조하지는 않을 것이라고 말한 것으로 전해졌다. OpenAI는 이 보도에 대한 논평을 거부했다. 같은 주 올트먼은 OpenAI가 2026년에 상장하지 않을 것이라고 확인했으며, 그 이유 중 하나로 안전 문제를 들었다.
한 테이블 위에 놓인 네 가지 태도
안스로픽은 이행 가능한 조건을 내놨고, OpenAI는 의향을 내놨고, xAI는 트윗 한 줄을 내놨고, 구글 딥마인드는 앞으로 더 논의해야 할 방향성을 내놨다. 이 네 가지 모두 '업계 합의'라는 말로 묶이지만, 실제로 외부에서 검증할 수 있는 것은 첫 번째뿐이다.
공개된 정보에서 빠진 부분도 있다. 내장 평가자가 문제를 발견했을 때 모델 출시를 중단시킬 권한이 있는지 여부다. 안스로픽의 약속은 발표 권한까지만 다루고 있고, OpenAI의 조건은 아직 나오지 않았다. 양쪽 다 이 부분은 문서화하지 않았다.
참고 출처: 다리오 아모데이 개인 웹사이트 에세이, CocoLoop, 블룸버그, CNBC. 3단계 계획 항목과 두 개의 시간창은 에세이 원문 서술을 기준으로 했으며, 각 사의 발언은 공개 자료와 대조했다.