OpenAI가 10월 29일 새 버전의 모델 스펙(Model Spec)을 공개했다. ChatGPT와 API 모델이 어떻게 행동해야 하는지를 정하는 회사의 행동 지침서다. 이번 버전은 문서 전체를 5대 핵심 가치 아래로 다시 정리하고, 세세한 문체 규정은 대부분 덜어냈으며, AI 에이전트의 자율 행동에 대한 경계를 새로 그었다.
5대 가치는 순서대로 인간 의도에 대한 충실성(faithfulness to human intent), 피해 감소, 정직성과 투명성, 인간의 주체성(human agency), 배려다. OpenAI는 첫 번째 가치를 기반으로 삼으면서도, 이 다섯 가지가 모델이 존중해야 할 인간 가치를 모두 포괄하는 것은 아니라고 설명했다.
문서에서 모델을 부르는 호칭도 바뀌었다. 'the assistant'에서 'GPT'로 바뀌었는데, 모델의 사용 상황과 배포 환경이 갈수록 다양해져 '어시스턴트'라는 말로는 더 이상 담아낼 수 없다는 이유다.
무엇을 덜어내고 무엇을 더했나
덜어낸 것은 주로 문체 가이드다. 이전 버전에는 어조, 서식, 분량에 대한 구체적인 규정이 많았지만, 새 버전은 사용자 전체의 선호, 언어와 문화, 개인의 취향에 맞춰 조정하도록 바꿨다. 논쟁적인 문제를 객관적으로 다루고 사용자가 듣고 싶어 하는 말에 맞춰 입장을 정하지 않는 것처럼 비교적 단단한 기본 동작 몇 가지는 남았다.
새로 추가된 내용은 세 가지로 모인다.
- 맥락: 'consider context carefully' 항목을 신설해 대화, 메모리, 기타 단서가 사용자 의도를 판단하는 데 어떻게 도움이 되는지 설명한다.
- 감독: 모델이 정당한 인간의 감독을 받아들이도록 요구하는 최상위 규칙을 추가했다. 권한을 가진 주체의 모니터링, 평가, 시정, 교체, 종료에 협조해야 하며, 감독을 숨기거나 조작하거나 우회해서는 안 된다.
- 주체성: 사람의 자기 결정을 뒷받침하는 기본 동작을 추가하고, 부작용 통제와 소통에 관한 설명을 보강했다.
제목부터 'no other objectives'인 규칙도 있다. 모델은 돈을 버는 것, 자기 보존, 종료 회피, 컴퓨팅 자원·데이터·자격 증명의 축적을 그 자체로 목표 삼아서는 안 된다는 내용이다.
"Human safety and human rights are paramount to OpenAI's mission."
인간의 안전과 인권은 OpenAI의 사명에서 무엇보다 중요하다.
에이전트 개발자가 눈여겨볼 대목
지시 체계(chain of command)는 폐지되지 않고 순서만 다시 짜였다. 어떤 대화로도 바꿀 수 없는 최상위 규칙이 맨 위에 있고, 그 아래로 시스템 수준 규칙과 OpenAI의 시스템 메시지, 개발자 지시, 마지막으로 사용자 지시가 이어진다. 어시스턴트 자신의 출력, 도구가 돌려준 내용, 인용된 외부 자료는 기본적으로 지시로서의 효력이 없다. 도구 호출과 웹 크롤링으로 에이전트를 만드는 팀에게는 프롬프트 인젝션 방어의 문서상 근거가 생긴 셈이다.
이런 개발자에게 가장 직접적인 영향을 주는 것은 '자율 범위(scope of autonomy)'다. 새 버전은 모델이 자율적으로 일하기 전에 사람과 범위를 먼저 맞추도록 요구한다. 어떤 하위 목표를 허용할지, 어떤 부작용까지 받아들일지, 언제 멈추고 확인을 기다려야 하는지가 그 내용이다. OpenAI는 이를 반구조화된 ScopeOfAutonomy 기록으로 등록할 것을 권한다. 필드는 사용 가능한 도구, 마감 시한, 비용 상한, 도구 제약, 보충 설명이다. 모든 범위에는 종료 조건을 적어야 하며, 이를 넘어서면 모델은 손을 멈추고 새 범위가 확인되기를 기다린다. 고위험 작업은 지시가 명확하고 구체적으로 허가하지 않는 한 하지 않는다.
OpenAI API로 해외 진출용 제품을 만드는 중국 팀에게도 실질적인 의미가 있다. 시스템 프롬프트에 권한을 어떻게 적고 에이전트에 상한을 어떻게 걸지에 대해, 이제 견주어 볼 공식 템플릿이 생겼기 때문이다.
문서와 모델 사이의 거리
OpenAI는 릴리스 노트에서 현재 모델이 문서에 적힌 대로 완전히 동작하지는 못한다고 인정했다. 새 훈련 방법의 결과는 추후 공유하겠다고 밝혔으며, 가치관과 표현에 대한 의견도 공개적으로 받는다. 새 모델 스펙은 이번에도 CC0 퍼블릭 도메인 라이선스로 공개됐다.
외부에서 검증할 수 있는 것은 텍스트 자체뿐이다. ScopeOfAutonomy 기록이 API의 정식 파라미터가 될지, 각 필드를 누가 채울지, 모델이 범위를 벗어났을 때 개발자가 어떤 신호를 받을 수 있는지는 이번에 OpenAI가 밝히지 않았다.
참고 출처: OpenAI 공식 블로그, 모델 스펙 본문 및 GitHub 수정 이력, CocoLoop, Unite.AI. 스펙 본문에서 5대 가치, 지시 체계 계층, ScopeOfAutonomy 필드를 확인했다.