4월 13일, xAI는 일부 SuperGrok 사용자에게 Grok Computer의 비공개 베타 접근 권한을 조용히 열었다. 발표 행사는 없었고, Elon Musk는 X에 짧은 게시물을 올려 이 사실을 확인하며 테스트 범위를 곧 확대할 것이라고 밝혔다.
이 제품의 포지셔닝은 무엇일까? xAI는 간결한 프레임워크를 제시했다. Grok 4.3은 두뇌이고, Grok Computer는 손이다.
API 불필요, 화면을 직접 읽는다
Grok Computer의 가장 주목할 만한 설계 선택은 기본 로직에 있다. 어떤 애플리케이션의 API에도 의존하지 않는다.
대부분의 AI 데스크톱 제어 도구는 소프트웨어가 제공하는 구조화된 인터페이스를 통해 명령을 내리는 방식으로 작동한다. 이 접근법에는 명확한 한계가 있다. 소프트웨어가 이를 지원해야 하며, API가 없는 오래된 프로그램은 사용할 수 없다.
Grok Computer는 다른 길을 택했다. 화면의 최근 5초간 비디오 영상을 지속적으로 분석하고, 시각적 추론을 통해 현재 실행 중인 애플리케이션과 그 상태를 파악한 후 마우스와 키보드를 직접 제어한다.
다시 말해, 사람의 눈으로 이해할 수 있는 인터페이스라면 작동할 수 있다는 뜻이다.
이는 다음을 의미한다:
- 30년 된 기업용 구 시스템도 여전히 사용 가능
- SAP, Oracle 등 API를 노출하지 않는 레거시 소프트웨어는 개조 불필요
- 로컬 GUI 프로그램, 산업용 제어 인터페이스도 이론상 문제없음
공학적으로는 더 투박한 방법이다. 인식 속도는 API 호출보다 느리고 오류 가능성도 더 높다. 하지만 적용 범위는 한 차원 더 넓다.
할 수 있는 일
비공개 베타 단계에서 알려진 기능:
- 여러 애플리케이션을 열고, 작동시키고, 전환
- 양식 작성 및 정보 제출
- 애플리케이션 간 다단계 작업: 데이터 조회 → 스프레드시트 정리 → 분석 요약 작성 → 이메일 발송, 완전 자동화
- 브라우저, 오피스 소프트웨어, 개발 도구 작동
전형적인 예: 지난주 판매 수치를 PowerPoint 프레젠테이션으로 정리하라는 명령을 내리면, 데이터 파일을 열고, 주요 숫자를 추출하고, PowerPoint를 실행하고, 표를 만들고, 요약을 작성하고, 파일을 저장한다. 사용자는 화면을 지켜볼 필요가 없다.
이러한 다단계 자동화의 가치는 AI에게 지시를 내리는 것이 아니라 수십 번의 클릭이 필요한 전체 작업을 외부에 위탁하는 데 있다.
다른 도구와의 비교
AI 데스크톱 자동화 분야의 주요 플레이어:
| 도구 | 기본 메커니즘 | 적용 범위 | 상태 |
|---|---|---|---|
| Grok Computer | 픽셀 화면 읽기 + 시각적 추론 | 모든 GUI 소프트웨어 | 비공개 베타 |
| GPT-5.4 Computer Use | 스크린샷 + 명령 생성 | 지원되는 최신 소프트웨어 | 출시됨 |
| Anthropic Computer Use | 스크린샷 + 마우스/키보드 동작 | 주요 애플리케이션 | 출시됨 |
| Claude Code | 터미널 + 코드 실행 | 개발 시나리오 | 출시됨 |
OpenAI와 Anthropic의 computer use 기능은 더 일찍 출시되었고 사용자 기반도 더 크다. Grok Computer의 차별점은 모든 소프트웨어와의 호환성을 우선시하는 명확한 선택을 했으며, 그 대가로 시각적 추론 능력에 대한 요구가 더 높아졌다는 점이다.
이 선택이 성공할지 여부는 기본 모델이 복잡한 화면 상태를 얼마나 잘 이해할 수 있는지에 크게 달려 있다. Grok 4.3이 현재 이 역할을 담당하고 있으며, 실제 능력은 아직 검증 중이다.
현재의 제한 사항
몇 가지 분명히 해야 할 점:
접근 장벽이 높다. 현재는 초대된 SuperGrok 계정만 참여할 수 있으며, 일반 사용자는 진입로가 없다.
공개된 가격이 없다. xAI는 Grok Computer의 가격 계획을 발표하지 않았으며, 별도로 과금될지 SuperGrok 구독에 포함될지도 밝히지 않았다.
안정성은 미지수다. 비공개 베타 단계이며, 한계는 알 수 없다. xAI는 어떤 성공률 데이터나 벤치마크 결과도 공개하지 않았다.
더 큰 기대는 Grok 5에 있다. xAI 자체도 Grok Computer의 진정한 잠재력은 차세대 추론 모델이 출시되어야 발휘될 것이라고 암시했다. Grok 5는 현재 멤피스의 Colossus 2 슈퍼컴퓨터 클러스터에서 훈련 중이며, 조 단위 파라미터 규모의 MoE 아키텍처를 목표로 하고 있으며 2026년 2분기에 훈련 완료가 예상된다. 손의 한계는 두뇌가 얼마나 멀리 갈 수 있느냐에 달려 있다.
이것이 의미하는 바
AI 에이전트가 실제 소프트웨어를 제어하는 길은 각 기업이 모두 탐색 중이다. OpenAI는 Codex Agent와 Computer Use, Anthropic은 Claude Code와 Computer Use API, Google은 Gemini에서 유사한 작업을 진행 중이다.
Grok Computer는 명확한 아키텍처 선택을 했다. 소프트웨어 협력이 필요한 API 통합을 범용 시각 능력으로 대체한 것이다. 이 판단의 배경에는 실제 기업 IT 환경에서 많은 핵심 업무 시스템이 수십 년간 교체되지 않았고, 그런 시스템에 API가 추가될 일이 없다는 논리가 있다.
실현 가능할지는 몇 달 후 실제 결과를 지켜봐야 한다. 하지만 xAI가 이 길을 가려는 의지를 보인 것 자체가 주목할 만한 신호다.
출처: Grok 4.3 Beta Features Review (Build Fast With AI), CocoLoop, Grok Computer: xAI's AI Agent That Controls Your Entire PC (DEXTools News)