최전선 연구소의 공식 블로그 첫 글이 모델 성능도, 벤치마크도, 평가 결과도 다루지 않고 국가가 여전히 국민을 필요로 하는지를 다루는 경우는 드물다. 8월 20일 OpenAI는 사내 Strategic Futures 팀이 운영하는 새 칼럼 'AI Futures'를 개설했다. 첫 글은 Dean Ball이 서명했다. 말미에는 이 글의 내용이 필자 개인의 견해이며 OpenAI의 공식 입장을 대표하지 않는다는 문구가 붙어 있다.
글이 던지는 첫 질문은 이렇다. AI가 경제, 정부, 사회를 재편한 뒤에도 개인의 권리와 인간의 주체성이 살아남으려면 자유사회는 어떻게 다시 설계되어야 하는가.
국가는 왜 국민을 필요로 하는가
Ball의 논증은 하나의 사슬을 풀어헤치는 데서 시작한다. 현대 국가가 시민에게 의존한다는 말은 구체적으로 세 가지로 귀결된다. 세수는 인간의 노동에서 나오고, 군대와 경찰은 사람으로 구성되며, 행정 시스템은 사람이 움직인다. 이 세 가지를 모두 자율 시스템이 넘겨받을 수 있다면 사슬은 느슨해진다. 경제 산출이 더 이상 주로 인간 노동에서 나오지 않게 되면 세원이 함께 옮겨가고, 자율 무기와 자동화된 법 집행은 군인과 경찰에 대한 수요를 낮추며, 관료적 절차는 모델이 대신 처리하게 된다.
"What happens if political power no longer requires broad human cooperation?"
정치권력이 더 이상 광범위한 인간의 협력을 필요로 하지 않게 되면 무슨 일이 벌어지는가.
같은 논리는 노동 시장에서 거울상으로 나타난다. 기업이 직원에 대한 의존도를 낮추면 직원의 협상력도 함께 낮아진다. 글은 이를 더 날카로운 질문으로 밀어붙인다. 인간이 경제적으로 덜 필요해진 뒤, 경제적·정치적 영향력을 어떻게 유지할 것인가.
이 사슬의 각 고리에는 이미 현실의 대응물이 있다. 자동화된 징세, 자율 무기 시스템, 모델 기반 행정 승인은 지금도 실제 프로젝트로 추진되고 있다. Ball은 이것들을 하나의 인과 사슬로 엮었고, 그 사슬의 끝에는 지금까지 좀처럼 공론화되지 않았던 질문을 놓았다.
다섯 가지 원칙
이런 우려에 대응해 글은 다섯 가지 원칙을 제시한다.
- 개인은 AI가 자신의 삶에 미치는 영향에 대해 자율성을 유지한다
- 개인은 기술 오남용에 대해 책임을 진다
- 집단행동은 절제해서, 범위를 좁게 사용한다
- 소규모 플레이어를 지원해 경쟁을 늘린다
- 인간이 사회가 나아갈 방향에 최종 책임을 진다
함께 제시된 개념이 bounded legibility, '경계 지어진 가시성' 정도로 옮길 수 있는 개념이다. 고위험 AI 행동은 책임 있는 특정 인물까지 추적할 수 있어야 하는 동시에, 일반인의 프라이버시와 익명으로 남을 여지는 지켜져야 한다는 것이다. 실제 적용에서는 이것이 난제다. 추적에는 기록을 남기는 일이 필요하고, 프라이버시에는 기록을 최소화하는 일이 필요해 양쪽이 서로 반대 방향으로 당긴다. 글이 제시하는 방향은 등급을 나누는 것으로, 고위험 등급에만 기록을 남기고 나머지는 그대로 두는 것이다.
견제와 균형이라는 발상은 미국 건국 철학에서 그대로 가져왔다. 서로 경쟁하는 여러 권력 중심을 두어 어떤 단일 주체도 전체를 장악하지 못하게 한다는 것이다. 이를 AI 맥락에 대입하면, 모델과 컴퓨팅 자원과 데이터가 한두 곳으로 수렴해서는 안 된다는 뜻이 된다.
최대 플레이어가 내놓은 처방전
이 글을 쓴 사람은 불과 몇 달 전까지 백악관 정책 서클에 있었다. Ball은 올해 7월 6일 OpenAI에 합류해 Strategic Futures를 이끌고 있으며, 이전에는 트럼프 행정부에서 AI 정책 고문을 지내며 미국의 AI 행동계획 초안 작성에 참여했다. 7월 19일 Axios는 국방부의 한 고위 관료가 그를 실명으로 공개 비판했다고 보도했다. 이 이력이 이 글을 읽는 방식을 결정한다. 새 고용주와 옛 동료들에게 동시에 보내는 메모에 가깝지, 학계의 사고실험과는 결이 다르다.
다섯 번째 원칙을 제외하면 네 번째 원칙이 가장 미묘하게 읽힌다. '소규모 플레이어를 지원해 경쟁을 늘리자'는 문장을 업계에서 가장 높은 기업가치를 지닌 회사 중 하나가 내놓았다는 사실 자체가 긴장을 만든다. OpenAI는 지금 이 순간 '권력집중'이라는 문제의 변수 중 하나이기 때문이다. 자사 블로그에 이 처방을 적는다는 것은 그 문제에 스스로도 포함된다는 사실을 인정하는 셈이다. 말미의 면책 문구도 이 긴장을 위해 남겨둔 여지로 읽을 수 있다.
안전 논의를 모델에서 구조로
지난 2년간 AI 안전을 둘러싼 공개 논의는 주로 모델 자체를 맴돌았다. 탈옥당하는지, 거짓말을 하는지, 종료를 요구받았을 때 잔꾀를 부리는지 같은 것들이다. 이 글은 카메라를 뒤로 물려 논의 대상을 제도로 바꾼다. 모델 능력이 올라간 뒤 권력이 국가, 기업, 개인 사이에서 어떻게 재분배되는가라는 질문이다.
두 갈래 논의가 겨냥하는 위험은 서로 겹치지 않는다. 전자는 모델이 통제를 벗어난다고 전제하고, 후자는 모델이 완전히 말을 잘 듣는다고 전제한 뒤 누구의 말을 듣는지 되묻는다. 후자의 경우 기술 자체는 아무런 오작동도 일으키지 않았다. 문제가 있는 쪽은 그것을 사용하는 구조다.
이 논의는 해외 독자에게도 구체적인 접점이 있다. 각국의 AI 거버넌스 논쟁은 결국 '누가 감독하는가, 무엇을 감독하는가, 기록을 얼마나 남기는가'라는 세 질문으로 수렴하는 경우가 많고, 모델 능력이 기준을 넘었는지는 오히려 부차적인 문제가 된다. 경계 지어진 가시성이라는 항목은 어떤 제도적 틀에 넣더라도 거듭 소환될 수밖에 없다. 이것이 건드리는 지점은 기록을 남기는 일과 프라이버시 사이의 공공 선택 문제이며, 어떤 나라도 이를 피해 갈 수 없기 때문이다.
'AI Futures'는 현재 이 글 하나뿐이며, 앞으로의 게재 주기나 다룰 주제 범위는 밝혀지지 않았다.
참고 출처: OpenAI 'AI Futures' 칼럼 첫 글, Axios, CocoLoop, 이 칼럼을 다룬 여러 테크 매체 보도; 다섯 가지 원칙과 bounded legibility 관련 서술은 칼럼 원문의 공개된 발췌와 대조했고, Dean Ball의 이력은 공개 보도와 항목별로 대조했다.