Claude Computer Useとは｜画面を操作するAIで業務自動化はどう変わる

この記事は 2026年10月に、公式の情報に合わせて内容を見直しました。

2026年10月時点の状況

Computer Use は 2024年10月に、開発者向けの API の ベータ機能 として発表されました

今は Claude API と Google Cloud（Vertex AI）で一般提供（GA） されています。Amazon Bedrock・AWS 上の Claude Platform・Microsoft Foundry ではベータです

Claude の デスクトップアプリ（macOS・Windows） でも、Cowork と Claude Code の中で Claude にパソコンを操作させる「computer use」が、Pro・Max プラン向けにベータ（研究プレビュー）として使えます。Team・Enterprise プランはまだ対象外です

Claude Computer Useとは

Claude Computer Use は、Anthropic の AI「Claude」が、スクリーンショットで画面を見て、マウスやキーボードの操作を行う 機能です。人がパソコンを使うときと同じように、画面を見て、クリックしたり文字を入力したりして作業を進めます。

2024年10月22日に、Claude 3.5 Sonnet（新版）とあわせて、開発者が API で組み込むための パブリックベータ として発表されました（Anthropic API・Amazon Bedrock・Google Cloud の Vertex AI）。当初はチャットのアプリの機能ではなく、開発者が自分のアプリやシステムに組み込んで使うものでした。

2つの使い方

	API で組み込む	デスクトップアプリで使う
対象	開発者	Pro・Max プランの利用者
動かす場所	開発者が用意した環境（仮想マシンやコンテナなど）	自分のパソコン（macOS・Windows）
始め方	操作を実際に行う環境と、Claude とのやり取りを回すプログラムを実装する	アプリの設定で computer use を有効にし、Cowork か Claude Code で使う
提供の状況	Claude API と Google Cloud で一般提供	ベータ（研究プレビュー）

従来のRPAとの違い

従来のRPA

事前に作ったシナリオ（ルール）どおりに動く
画面の配置が変わると止まりやすい
想定していない状況への対応が難しい
同じ手順なら、毎回同じように動く

Claude Computer Use

画面の内容を読み取って、次の操作を判断する
やりたいことを文章で指示できる
手順を細かく決めていない作業にも使える
ただし間違えることがあり、毎回同じ結果になるとは限らない

決まった手順を正確にくり返すなら RPA、手順を決めにくい作業を AI に任せてみるなら Computer Use、と向き不向きがあります。

主な特徴と機能

1. 画面の認識

スクリーンショットから、画面の内容を読み取る
テキスト、ボタン、入力欄などの画面の要素を見分ける
画面の一部を拡大して、細かい部分を確かめる（ズーム）

2. 操作

クリック（左・右・ダブルクリックなど）、ドラッグ
文字の入力、キーやショートカットキーの操作
スクロール、待機

3. 判断しながら進める

操作の結果を画面で確かめ、次の操作を決める
これをくり返して、指示された作業を進める

仕組み（API で使う場合）

API で Computer Use を使うときは、Claude が直接パソコンを動かすのではなく、Claude が「次はここをクリック」といった操作を返し、開発者のプログラムがそれを実際に行う 形になります。

作業の指示と、Computer Use のツールを Claude に送る
Claude が、スクリーンショットの取得やクリックなどの操作を返す
開発者のプログラムが、用意した環境でその操作を行い、結果（スクリーンショットなど）を Claude に返す
Claude が操作を求めなくなるまで、2〜3 をくり返す（エージェントループ）

操作を行う環境として、仮想のディスプレイや、画面を操作するためのアプリを入れた Linux の環境などを開発者が用意します。Anthropic は、Docker のコンテナで動く参照実装（anthropic-quickstarts の computer-use-demo）を公開しています。

知っておきたい制限

発表時は「実験段階」：Anthropic は発表時、Computer Use を「まだ実験的で、ときに扱いにくく、間違いやすい」とし、スクロール・ドラッグ・ズームなどはまだ苦手だとしていました。そのうえで、リスクの低い作業から試す よう勧めていました。当時の Claude 3.5 Sonnet の OSWorld（パソコン操作のベンチマーク）のスコアは 14.9%（手数を増やした場合は 22.0%）でした
今も苦手な操作がある：公式のドキュメントでは、ドロップダウンやスクロールバーなどはマウスでは扱いにくいことがあり、その場合はキーボードのショートカットを使うよう指示するとよい、とされています
専用の連携より遅い：デスクトップアプリの説明では、画面を操作するやり方は、コネクタ（サービスと直接つながる連携）より遅いとされています。連携の手段があるなら、そちらが優先です
やり直しが要ることがある：複雑な作業は、2回目でうまくいくこともあるとされています

実践的な活用例

ここでは、公式の安全の勧め（後述）に沿った形で、使い方の例を紹介します。どれも 専用の環境で動かし、送信や更新などの最後の操作は人が確かめる 前提です。

1. データ入力と転記作業

シナリオ）Excelファイルのデータを、Webフォームに入力する

# Claude Computer Useへの指示例
1. 作業用フォルダの「顧客データ.xlsx」を開いてください
2. A列の顧客名とB列のメールアドレスを確認してください
3. ブラウザで社内の登録フォームを開いてください
4. 1件目の顧客のデータをフォームに入力してください
5. 送信はせずに止まり、入力した内容を画面で見せてください

送信は、人が入力内容を確かめてから行います。うまく入力できることを確かめてから、件数を増やしていきます。

2. レポート作成の自動化

シナリオ）用意したデータからレポートを作る

# 実行手順
1. 作業用フォルダにある、今月のアクセス数と売上のCSV（人が書き出して置いたもの）を開く
2. 表計算のアプリで集計する
3. 月次レポートのテンプレートに数字を反映する
4. グラフを更新し、主な変化をスライドに書く
5. PDFとして作業用フォルダに保存する（メールでの送付は人が行う）

ログインが必要なサービスからデータを取り出す作業は、ログイン情報をモデルに渡すことになるため、公式も注意を促しています（後述）。データは人が書き出して渡すか、API などの連携の手段を使うのが安全です。

3. システム間のデータの照合

シナリオ）2つのシステムの在庫の数を照合する

# 照合作業の例
1. 作業用フォルダにある、ERPの在庫データとECサイトの在庫データ（CSV）を開く
2. 商品コードごとに在庫の数を比べる
3. 数が合わない商品を一覧にまとめる
4. 一覧を作業用フォルダに保存する（ECサイトへの反映は、人が一覧を確かめてから行う）

管理画面の値を直接書き換える作業は、間違えたときの影響が大きいので、まずは照合と一覧づくりまでを任せるのがおすすめです。

導入メリット

1. 既存のシステムを変えずに試せる

画面から操作するので、API などの連携の手段が無いアプリにも使える
既存のシステムを改修しなくてよい
デスクトップアプリの computer use は、設定で有効にすれば使える（API で自社のシステムに組み込むには開発が要る）

2. 指示の柔軟さ

やりたいことを文章で指示できる
手順を細かく決めにくい作業にも使える
画面を見ながら、状況に応じて次の操作を判断する

3. 手間を減らせる

画面での定型的な作業を任せられる
人は、結果の確認や判断に時間を使える

一方で、上に書いたとおり間違えることもあるので、「全部任せる」ではなく「任せて、人が確かめる」 使い方が基本です。

実装のベストプラクティス

1. タスクの明確化

task_definition:
  name: "月次売上レポート作成"
  objective: "作業用フォルダのデータを集計し、経営陣向けレポートの下書きを作る"
  steps:
    - step1: "作業用フォルダのCSVを開く"
    - step2: "データの抽出と検証"
    - step3: "レポートテンプレートへの反映"
    - step4: "グラフとサマリーの更新"
    - step5: "人が内容を確認する"
  expected_outcome: "PDF形式の月次レポートの下書き"

2. エラーハンドリング

error_handling:
  - if: "ログインを求められた・ログインに失敗した"
    then: "操作を止めて、人に知らせる（パスワードのリセットなど、アカウントの操作はさせない）"

  - if: "データが見つからない"
    then: "推測で埋めずに止めて、見つからなかった内容を報告する"

  - if: "システムエラー"
    then: "決めた回数だけ再試行し、だめなら止めて人に知らせる"

  - if: "送信・購入・規約への同意・Cookie の同意などの確認画面が出た"
    then: "操作を止めて、人の承認を待つ"

3. 公式が勧める安全対策

Anthropic の公式ドキュメントは、Computer Use には通常の API の機能とは違う危険があり、インターネットにつなぐと危険が高まるとして、次のような対策を勧めています。

専用の仮想マシンやコンテナで、権限を最小にして動かす（システムへの攻撃や事故を防ぐ）
ログイン情報などの機密のデータをモデルに渡さない（情報が盗まれるのを防ぐ）
インターネットの接続先を、許可したドメインだけに絞る（悪意のあるコンテンツに触れる機会を減らす）
現実に大きな影響が出る判断は、人に確認してもらう。Cookie の受け入れ、お金のやり取り、利用規約への同意など、本人の同意が要る作業も同じ

あわせて、次の点にも注意が必要です。

プロンプトインジェクション：ウェブページや画像の中の文字に書かれた指示に、Claude が従ってしまうことがあります。Anthropic は、スクリーンショットなどを自動で調べて怪しい指示を見つける仕組みを入れていますが、上の対策は引き続き大切だとしています
自社の製品に組み込む場合：利用者に危険を説明し、同意を得てから computer use を有効にするよう求められています

デスクトップアプリで使う場合も、公式は次のように勧めています。

銀行・医療・行政など、機密を扱うアプリには操作の許可を与えない（Claude はアプリごとに許可を求めます）
機密のファイルは閉じておく
信頼できるアプリから始め、特に最初は Claude の作業を見守る
投資・取引のアプリや暗号資産の取引所は、初めから操作できないようになっています。ほかのアプリも、操作させない一覧に加えられます

発表時に名前が挙がった企業

2024年10月の発表で、Anthropic は、Asana・Canva・Cognition・DoorDash・Replit・The Browser Company が Computer Use の活用を試し始めていると紹介しました。

なお、公式は導入による効果の数字（時間の短縮など）は示していないため、この記事では効果の数字は載せていません。自社で試すときは、作業時間や手直しの回数を測って、効果を確かめるのがおすすめです。

今後の展望

1. AIとの協調作業

AIが作業を進め、人が確かめて最終判断する
送信や更新など、影響の大きい操作は人が承認する
使いながら、任せる範囲を少しずつ広げる

2. 使える場所の広がり

発表時の API のベータから、Claude API と Google Cloud での一般提供へ
Claude のデスクトップアプリでも、Cowork や Claude Code の中でパソコンを操作できるように
連携の手段（コネクタや API）があるものはそちらを使い、無いものを画面の操作で補う、という使い分けが現実的

3. 新しい働き方

画面での定型作業をAIに任せる
人は、判断や確認、創造的な業務に時間を使う

まとめ

Claude Computer Use は、AI が画面を見て、マウスやキーボードを操作する機能です。2024年10月に API のベータとして始まり、今は Claude API と Google Cloud で一般提供になりました。Claude のデスクトップアプリでも、Pro・Max プラン向けにベータとして使えます。

画面を読み取って判断できるので、決まった手順を細かく作らなくても作業を任せられる一方、間違えることもあり、プロンプトインジェクションなどの危険もあります。専用の環境で動かし、機密の情報を渡さず、影響の大きい操作は人が確かめる という公式の勧めを守り、リスクの低い作業から試していくのがおすすめです。

エンハンスドでは、AI と自動化ツールを組み合わせて業務の流れを作り直す支援を行っています（AI × ハイパーオートメーション）。

あわせて読みたい