Codex の新機能「Appshots」とは｜Mac で左右の Command キーを押すと、AI が今の画面を理解する

「Mac で左右の Command キーを両方押すと、いま見ているアプリの画面ごと Codex に渡せる」

そう聞いて、ピンと来るでしょうか。

OpenAI の開発者向けアカウント（@OpenAIDevs）が、Codex Thursday の中で Appshots という新機能を発表しました。一見すると地味な小ネタに見えますが、触ってみるとこれは、AI との付き合い方が一段階変わる入り口の機能だと感じたので、まとめておきます。

この記事は 2026年10月に、公式の情報に合わせて一部を見直しました。題名と当初の本文では「Command 連打」と書いていましたが、公式の説明では左右の Command キーを両方押す操作です（2 回連打ではありません）。本文はこの操作に直しています。

その後の状況（2026年10月時点）：Appshots は 2026年9月11日に Windows にも対応しました（Windows では左右の Alt キーを両方押します）。今は ChatGPT デスクトップアプリ（macOS / Windows）の機能として提供されていて、ウェブ版と CLI では使えません。キーの割り当ては設定で変えられます。詳しくは公式の説明（Appshots）をご覧ください。以下の「Codex for Mac」などの書き方は、執筆時点（2026年5月）のものです。

It’s Codex Thursday, and yes, we have updates for you.

First up: Appshots, a new way to bring the context of what you’re working on into Codex.

On your Mac, press Command-Command to attach your app window to a Codex thread. Codex gets both a screenshot and text from the window,… pic.twitter.com/R0EcZRCc1d
— OpenAI Developers (@OpenAIDevs) May 21, 2026

告知のポストでは "press Command-Command" と書かれていますが、公式のドキュメントの説明は「Press both Command keys」、つまり左右の Command キーを両方押すです。

Mac でキー操作をすると、前面の売上ダッシュボードの画面が Codex のチャットに添付されるイメージ。Codex が画面を受け取り、分析の依頼に応じている

Appshots とは何か

Appshots（アップショット）は、Codex for Mac に追加された新しい添付方法です（執筆時点。今は ChatGPT デスクトップアプリの macOS 版・Windows 版で使えます）。

ものすごくざっくり言うと、「いま最前面に開いているアプリの画面と中身のテキストを、Codex に渡す」ための機能です。

これまでも、Codex にスクリーンショットを貼ることはできました。ただ、

画面をキャプチャして
ファイル化して
チャットにドラッグして
必要ならエラー文や設定値をコピペして補足する

という、地味に面倒な工程が必要でした。Appshots はこの一連を、左右の Command キーを両方押すだけに圧縮してきます。

使い方は「左右の ⌘ を両方押す」だけ

操作はびっくりするほどシンプルです。

Codex for Mac を起動しておく（執筆時点。今は ChatGPT デスクトップアプリ）
渡したいアプリのウィンドウを最前面にする
左右の Command キーを両方押す（キーの割り当ては設定で変えられます）
自動で Codex のスレッドに、その画面の Appshot が添付される

それだけです。

Appshots の使い方3ステップの図。①対象のアプリを最前面にする ②Command キーを2回連打 ③Codex に画面と抽出されたテキストが添付される

※ この図は執筆時点のもので、②の「Command キーを2回連打」は誤りでした。正しくは左右の Command キーを両方押します（Windows では左右の Alt キー）。

ポイントは、スクリーンショットだけが渡るわけではない ことです。

Appshots では、次の2つがセットで Codex に送られます。

最前面ウィンドウの 画像（スクリーンショット）
そのアプリから取れる テキスト情報

この「テキストも取れる」ところが、地味に効いてきます。

仕組みとして何が起きているのか

公式の説明によると、macOS で Appshots を使うには、次の2つの許可が必要です。

ウィンドウの画像を撮るための 「画面収録とシステムオーディオ録音」 の許可
アプリが提供しているテキストを読むための 「アクセシビリティ」 の許可

このうち面白いのが、取れるテキストには「画面の外」も含まれることがある という点です。公式の説明では、表示中のテキストに加えて、アプリがスクロール範囲の外で提供しているテキストも含められるとされています。

たとえば、長いログが流れているターミナルや、下までスクロールしないと見えない設定画面でも、アプリがテキストを提供していれば、Appshots は「見えている範囲のスクショ＋画面外のテキスト」を Codex に渡せます。

ただし、何が渡るかはアプリ次第です。公式の説明では、Google Docs・Gmail・Google スプレッドシート・Google スライドなど一部のアプリやサイトでは、表示中のスクリーンショットしか受け取らず、文書全体や画面外のテキストは受け取らない場合があると書かれています。

それでも、うまく取れるアプリでは、

人間 → 見えている部分しか把握できない
Codex → 見えていない部分の文字情報まで読める

という、ちょっと不思議な状態が生まれます。「人間より画面の中身を把握している AI」が、自分の隣に立っている感覚に近いです。

どんな現場仕事で効きそうか

ここからは、実務で使う前提で「どこに刺さりそうか」を整理してみます。

Appshots が効く4つの業務の図。バグ報告(エラー画面と再現手順)、デザインレビュー(アプリ画面)、資料の引用(市場調査レポート)、エラー解析(サーバーログ)を Codex に添付して相談する例

1. バグ報告の準備が一瞬で終わる

エンジニアにバグを報告するときの面倒な工程といえば、

スクショを撮る
どこがおかしいかを赤枠で囲む
該当するエラーログをコピペする
設定値や URL を文章で補足する

このあたりです。Appshots を使うと、画面とテキストが同時に Codex に渡るので、まずはそのスレッドの中で AI に状況を整理してもらってから、要点だけ社内チャットに転記する、という運用に変えられます。

「報告書を書く前に、AI に下書きさせる」が現実的になります。

2. デザインレビューの「言語化」が早くなる

Figma や Photoshop、社内ツールの画面を Appshots で渡しながら、「このコンポーネント、余白おかしくない？」と聞けます。

Codex 側には画像と一緒に、

アプリが提供している画面上のテキスト（ボタン名やラベルなど。何が取れるかはアプリによります）

が渡るので、画像だけを渡すより、指摘の手がかりが増えることが期待できます。

「なんとなく違和感がある」というレビュアー側の感覚を、AI に 言語化してもらってからチームに共有する という使い方が現実的になりました。

3. 資料の引用がコピペ無しでできる

PDF ビューアや Notion、Pages、社内ナレッジツールなどを開いたまま Appshots を使えば、その画面と、アプリが提供するテキストを Codex に渡せます。

この資料の3章を要約して
ここに出てくる数字を表形式にして
顧客向けに丸めて説明して

こういう依頼が、いちいち本文をコピペしなくても通るようになります。

ただし、取れるのはアプリが提供しているテキストだけで、Google Docs のように画面のスクリーンショットしか渡らない場合もあります。また、コピーが禁止されている資料を抜き出す目的で使うのは、権利や社内の規程の面からも避けてください。

4. エラー画面の「原因聞き」がスムーズになる

ターミナルや IDE で長いエラーが流れたときに、

「いま見えているスクショ」
「アプリが提供していれば、画面外まで含めたエラーログ本文」

を一発で Codex に渡せます。

これまでは「該当行をコピペして、設定ファイルも貼って、環境情報も…」とやっていた前準備が、キー操作ひとつで済みます。エンジニア側の体感としては、質問するまでの摩擦が一段下がるタイプの改善です。

これまでとの違いを1行で言うと

すごく雑にまとめると、こうなります。

これまで → 人間が AI に説明する 時代
これから → 人間が AI と同じ画面を見る 時代

Appshots 前後の比較図。これまではスクショを撮って保存しAIにコピペするため手間や認識のズレが生じた。これからは人とAIが同じ画面を共有し、説明なしで正確に伝わる

これまでの AI とのやり取りは、人間が一度「画面に映っているもの」を文章に翻訳して、ようやく AI に渡せる、という構造でした。

Appshots は、その翻訳工程をまるごと省略します。

人間がやることは「左右の Command キーを押す」だけ
AI 側は画面と、アプリが提供するテキストを読む
そのうえで会話に入ってくる

つまり、AI が人間の隣で同じ画面を見ている状態を、無理なく成立させる仕組みが出てきた、という話です。

想像できる「もう一歩先」の世界

ここからは少し未来の話です。

Appshots のような仕組みが当たり前になると、次のような景色が見えてきます。

営業担当が Salesforce を開いてキー操作ひとつで AI に「次の打ち手」を聞く
経理担当が会計ソフトの画面を渡して「今月、ここの数字おかしくない？」と相談する
制作担当が Figma の画面を渡して「このトーン、コーポレートに合ってる？」と聞く
上司が部下のレポート画面を見ながら「ここの指摘、AI 的にはどう？」と二人で会話する

どれも、AI を呼び出すのに「資料を作る」必要がなくなる世界です。

これまで AI を使いこなしている人と、そうでない人を分けていた壁の一つに、「自分の状況を AI に伝わる形に翻訳できるかどうか」がありました。Appshots はその翻訳コストを、ほぼゼロに近づけます。

ということは、これから AI 活用が進む現場ほど、こういう「画面ごと渡す系」の機能が標準装備になっていくはずです。Windows や Linux 側、あるいは ChatGPT 本体や他社の AI クライアントが似た機能を載せてくるのも、たぶん時間の問題です（執筆時点の予想。その後 2026年9月に、ChatGPT デスクトップアプリの Windows 版でも Appshots が使えるようになりました）。

注意しておきたい点

便利な分、業務利用ではいくつか気をつけたい点もあります。

画面に映っているものが、そのままクラウドに送られる ので、顧客情報や個人情報、社外秘の資料を映したまま使うと、そのまま外部に出る
アプリが提供していれば「画面外のテキスト」まで送られるため、人間が想定していない範囲まで送信される可能性がある
業務用途で導入する場合は、送ってよい画面とそうでない画面のルールを、社内で先に決めておいた方がよさそう

「便利だから全社員に解禁」とやる前に、最低限ここだけは決めておきたいラインです。

まとめ

OpenAI が Codex の新機能として Appshots を発表した（今は ChatGPT デスクトップアプリの macOS 版・Windows 版で使える）
Mac で 左右の Command キーを両方押す だけで、最前面のアプリ画面を Codex に渡せる（Windows では左右の Alt キー）
渡るのは スクリーンショット＋アプリが提供するテキスト で、アプリによっては画面外の文字情報まで読み取れる（Google Docs などではスクリーンショットだけの場合もある）
バグ報告、デザインレビュー、資料の引用、エラー解析など、コピペで疲れていた現場仕事が一段楽になる
構造としては「人間が AI に説明する時代」から「人間と AI が同じ画面を見る時代」へ進む一手
ただし、画面に映ったものはそのままクラウドに渡るので、業務利用時は社内ルールの整備が前提になる

キーを押すだけで、AI が自分と同じ画面を見てくれる。たったそれだけのことなのですが、これまで AI に話しかけるたびに発生していた「状況を文章にして説明する」というひと手間が、すっぽり抜け落ちます。

地味な発表に見えて、業務での AI の使い方を一段押し上げてくる可能性のある機能でした。ChatGPT のデスクトップアプリを使っている方は、まずはお手元のアプリで一度、左右の ⌘（Windows なら左右の Alt）を両方押してみてください。

あわせて読みたい