Grok Computerが非公開ベータ開始、ピクセル読み取りで任意のソフトウェアを制御

4月13日、xAIは一部のSuperGrokユーザーに対してGrok Computerの非公開ベータアクセスを静かに開放した。発表イベントはなく、Elon MuskはXへの短い投稿でこの動きを確認し、テスト範囲はすぐに拡大すると述べた。

この製品の位置づけは何か。xAIは簡潔な枠組みを示した。Grok 4.3が頭脳であり、Grok Computerが手である

API不要、画面を直接読み取る

Grok Computerの最も注目すべき設計上の選択は、その基本ロジックにある。いかなるアプリケーションのAPIにも依存しないのだ。

ほとんどのAIデスクトップ制御ツールは、ソフトウェアが提供する構造化インターフェースを通じて命令を発する。このアプローチには明確な限界がある。ソフトウェアが対応していなければならず、APIのない古いプログラムは対象外となる。

Grok Computerは別の道を選んだ。画面上の最新5秒間のビデオ映像を継続的に分析し、視覚的推論を用いて現在のアプリケーションとその状態を判断し、マウスとキーボードを直接操作する。

言い換えれば、人間の目で理解できるインターフェースであれば、操作できるということだ。

これは以下を意味する:

  • 30年前の企業向け旧システムでも使用可能
  • SAPやOracleなどAPIを公開していないレガシーソフトウェアは改造不要
  • ローカルGUIプログラムや産業用制御インターフェースも理論上は問題ない

工学的には、これはより力技のアプローチである。認識速度はAPI呼び出しより遅く、エラーの可能性も高い。しかし、カバレッジ範囲は桁違いに広い。

できること

非公開ベータ段階で判明している機能:

  • 複数のアプリケーションを開き、操作し、切り替える
  • フォームへの入力と情報の送信
  • アプリケーション横断のマルチステップタスク:データ照会→スプレッドシートへの整理→分析サマリーの作成→メール送信を完全自動化
  • ブラウザ、オフィスソフト、開発ツールの操作

典型的な例:過去1週間の売上数字をPowerPointプレゼンテーションにまとめるよう指示すると、データファイルを開き、主要な数字を抽出し、PowerPointを起動し、表を作成し、サマリーを書き、ファイルを保存する。ユーザーは画面を見つめて監視する必要はない。

このマルチステップ自動化の価値は、AIに指示を出しているのではなく、十数回のクリックを要するタスク全体を外部委託している点にある。

他のツールとの比較

AIデスクトップ自動化分野の主要プレイヤー:

ツール基本メカニズムカバレッジステータス
Grok Computerピクセル読取+視覚推論任意のGUIソフトウェア非公開ベータ
GPT-5.4 Computer Useスクリーンショット+命令生成対応する最新ソフトウェア公開済み
Anthropic Computer Useスクリーンショット+マウス/キーボード操作主要アプリケーション公開済み
Claude Codeターミナル+コード実行開発シナリオ公開済み

OpenAIとAnthropicのcomputer use機能はより早期に公開され、ユーザーベースも大きい。Grok Computerの差別化ポイントは、あらゆるソフトウェアとの互換性を優先するという明確な選択であり、その代償として視覚推論能力への要求が高まっている。

この選択が成立するかどうかは、基盤モデルが複雑な画面状態をどれだけ正確に理解できるかに大きく依存する。Grok 4.3が現在この役割を担っており、実際の能力は検証中である。

現時点の制限

明確にすべき点がいくつかある:

アクセス障壁が高い。 現時点では招待されたSuperGrokアカウントのみが参加可能で、一般ユーザーには入り口がない。

公開価格設定なし。 xAIはGrok Computerの価格計画を発表しておらず、別途課金されるのかSuperGrokサブスクリプションにバンドルされるのかも明らかにしていない。

安定性は未知数。 非公開ベータ段階であり、限界は未知数だ。xAIは成功率データやベンチマーク結果を一切公開していない。

より大きな期待はGrok 5にある。 xAI自身も、Grok Computerの真の可能性は次世代推論モデルが登場して初めて発揮されると示唆している。Grok 5は現在、メンフィスのColossus 2スーパーコンピュータクラスターでトレーニング中であり、兆パラメータ規模のMoEアーキテクチャを目標とし、2026年第2四半期にトレーニング完了が見込まれている。手の限界は頭脳がどこまで行けるかにかかっている。

この意味するところ

AIエージェントが実際のソフトウェアを制御する道は、各社が模索している。OpenAIはCodex AgentとComputer Use、AnthropicはClaude CodeとComputer Use API、GoogleはGeminiで同様の取り組みを行っている。

Grok Computerは明確なアーキテクチャ上の選択を行った。ソフトウェアの協力を必要とするAPI統合を、汎用視覚能力で代替するというものだ。この判断の背後にある論理は、実際の企業IT環境では、多くの中核業務システムが数十年にわたって更新されておらず、それらのシステムにAPIが追加されることはないという現実である。

実現するかどうかは、数ヶ月後の実際の成果を待つ必要がある。しかし、xAIがこの道を進む意思を示したこと自体が、注目に値するシグナルである。

出典:Grok 4.3 Beta Features Review(Build Fast With AI)、CocoLoop、Grok Computer: xAI's AI Agent That Controls Your Entire PC(DEXTools News)