Grok Computer 進入私測,靠讀取像素控制任何軟體

4 月 13 日,xAI 悄悄將 Grok Computer 的私測權限開放給了部分 SuperGrok 用戶。沒有發布會,Elon Musk 在 X 上發了一條短消息確認了這件事,說接下來會很快擴大測試範圍。

這個產品的定位是什麼?xAI 給了一個簡潔的框架:Grok 4.3 是腦,Grok Computer 是手

不靠 API,直接讀你的螢幕

Grok Computer 最值得關注的設計是它的底層邏輯:它不依賴任何應用程式的 API 介面。

絕大多數 AI 桌面控制工具的工作方式是透過軟體提供的結構化介面來發出指令。這套方法上限清晰——軟體得支援才行,沒有 API 的老舊程式就沒戲了。

Grok Computer 走了另一條路:持續分析螢幕上最近 5 秒的影片畫面,用視覺推理判斷當前是什麼應用、處於什麼狀態,然後直接操控滑鼠和鍵盤。

換句話說,只要人眼能看懂的介面,它就能操作

這意味著:

  • 三十年前的企業老系統照樣能用
  • SAP、Oracle 這類沒有暴露 API 的遺留軟體不用做任何改造
  • 本地 GUI 程式、工業控制介面——理論上都沒問題

工程上這是一種更粗暴的方法,辨識速度不如 API 呼叫快,出錯的可能性也更高。但覆蓋範圍大了一個量級。

能做什麼

私測階段已知的能力:

  • 打開、操作多個應用程式並在它們之間切換
  • 填寫表單、提交資訊
  • 跨應用鏈式多步任務:查資料 → 整理進表格 → 寫分析摘要 → 發郵件,全自動跑完
  • 操作瀏覽器、辦公軟體、開發工具

一個典型例子:給它一個指令把過去一週的銷售數字彙總成 PPT——它會自己打開資料檔案、提取關鍵數字、打開 PowerPoint、建表格、寫摘要、儲存檔案。你不需要坐在旁邊盯著螢幕。

這種多步自動化的價值在於:你不是在給 AI 發指令,而是把一項需要來回點十幾次的任務整體外包出去

和其他工具比

AI 桌面自動化這條賽道,目前主要玩家:

工具底層機制覆蓋範圍狀態
Grok Computer像素讀屏 + 視覺推理任意 GUI 軟體私測中
GPT-5.4 Computer Use截圖 + 指令生成支援的現代軟體已上線
Anthropic Computer Use截圖 + 滑鼠鍵盤動作主流應用已上線
Claude Code終端 + 程式碼執行開發場景已上線

OpenAI 和 Anthropic 的 computer use 功能更早發布,用戶基礎更大。Grok Computer 的差異化在於:明確選了相容所有軟體這個方向,代價是對視覺推理能力的要求更高。

這個選擇能不能成立,很大程度上取決於底層模型有多能看懂複雜的螢幕狀態——Grok 4.3 目前擔任這個角色,實際能力還在驗證中。

現階段的限制

幾點得說清楚:

訪問門檻高。目前只有被邀請的 SuperGrok 帳戶才能進,普通用戶沒有入口。

沒有公開定價。xAI 沒有公布 Grok Computer 的價格計畫,也沒說會不會單獨收費,還是捆綁在 SuperGrok 訂閱裡。

穩定性未知。私測階段的東西,邊界都是未知數。xAI 沒有發布任何成功率資料或基準測試結果。

更大的期待在 Grok 5。xAI 自己也暗示了,Grok Computer 的真正潛力要等下一代推理模型上線才能體現。Grok 5 目前在 Memphis 的 Colossus 2 超算叢集上訓練,目標是萬億參數級別的 MoE 架構,預計 Q2 2026 完成訓練。手的上限取決於腦能走多遠。

這件事的意義

AI agent 控制真實軟體這條路,各家都在探索。OpenAI 有 Codex Agent 和 Computer Use,Anthropic 有 Claude Code 加 Computer Use API,Google 在 Gemini 裡也在做類似的事。

Grok Computer 做了一個明確的架構選擇:用通用視覺能力替代依賴軟體配合的 API 整合。這個判斷背後的邏輯是:企業實際 IT 環境裡,很多核心業務系統幾十年沒換過,那些系統不會有人給你加 API。

能不能跑通,等幾個月看實際效果。不過 xAI 願意在這條路上走,本身就是個值得關注的信號。

參考來源:Grok 4.3 Beta Features Review(Build Fast With AI)、CocoLoop、Grok Computer: xAI's AI Agent That Controls Your Entire PC(DEXTools News)