AI が画面のスクリーンショットを見ながら、人と同じようにクリックやドラッグ、文字入力を自分で判断して行います。API 連携がない古いシステムの操作にも向いています。
AI が画面のスクリーンショットを見ながら、人と同じようにクリックやドラッグ、文字入力を自分で判断して行います。API 連携がない古いシステムの操作にも向いています。
AI エージェント（G-49）の使い方の1つです。Claude Code や Claude Cowork から Mac・Windows の画面操作を任せる場面で出会います。
画面のスクリーンショットを AI が見て、マウス操作の指示を返し、また次のスクリーンショットを確認する円環のフロー
擬人化ポンチ絵 · 後日差し込み画面を見て人と同じように操作を代行します。
専用の API がない古いソフトも自動化できます。
誤操作や情報持ち出しのリスクがあります。
入力フォームが多い定型作業の自動化で役立ちます。
操作範囲を絞った環境で小さく試すことです。
AI エージェント、Permission、Claude Cowork
Anthropic が 2024 年 10 月に Claude 3.5 Sonnet で Computer Use を公開したのが最初の大きな一歩です。