Codex の新機能「Appshots」 Mac で Command 連打すれば、AI が今見ている画面を一瞬で理解する

「Mac で Command キーを2回連打すると、いま見ているアプリの画面ごと Codex に渡せる」

そう聞いて、ピンと来るでしょうか。

OpenAI の開発者向けアカウント（@OpenAIDevs）が、Codex Thursday の中で Appshots という新機能を発表しました。一見すると地味な小ネタに見えますが、触ってみるとこれは、AI との付き合い方が一段階変わる入り口の機能だと感じたので、まとめておきます。

It’s Codex Thursday, and yes, we have updates for you.

First up: Appshots, a new way to bring the context of what you’re working on into Codex.

On your Mac, press Command-Command to attach your app window to a Codex thread. Codex gets both a screenshot and text from the window,… pic.twitter.com/R0EcZRCc1d

— OpenAI Developers (@OpenAIDevs) May 21, 2026

Appshots とは何か

Appshots（アップショット）は、Codex for Mac に追加された新しい添付方法です。

ものすごくざっくり言うと、「いま最前面に開いているアプリの中身を、まるごと Codex に渡す」ための機能です。

これまでも、Codex にスクリーンショットを貼ることはできました。ただ、

• 画面をキャプチャして

• ファイル化して

• チャットにドラッグして

• 必要ならエラー文や設定値をコピペして補足する

という、地味に面倒な工程が必要でした。Appshots はこの一連を、Command キーを2回押すだけに圧縮してきます。

使い方は「⌘ ⌘」だけ

操作はびっくりするほどシンプルです。

1. Codex for Mac を起動しておく

2. 渡したいアプリのウィンドウを最前面にする

3. Command キーを2回連打する

4. 自動で Codex のスレッドに、その画面の Appshot が添付される

それだけです。

ポイントは、スクリーンショットだけが渡るわけではない ことです。

Appshots では、次の2つがセットで Codex に送られます。

• 最前面ウィンドウの 画像（スクリーンショット）

• そのアプリから取れる テキスト情報

この「テキストも取れる」ところが、地味に効いてきます。

仕組みとして何が起きているのか

公開されている情報をもとに整理すると、Appshots の裏側ではざっくり2つの仕組みが組み合わさっています。

• 画像は、Apple の ScreenCaptureKit 経由で最前面ウィンドウだけを撮影する

• テキストは、macOS の アクセシビリティ API 経由で構造化テキストとして抜き出す

このうち面白いのが、アクセシビリティ API から抜くテキストには「画面の外」も含まれる という点です。

たとえば、長いログが流れているターミナルや、下までスクロールしないと見えない設定画面でも、Appshots は「見えている範囲のスクショ＋アプリが内部的に持っているテキスト全部」を Codex に渡します。

つまり、

• 人間 → 見えている部分しか把握できない

• Codex → 見えていない部分の文字情報まで読める

という、ちょっと不思議な状態が生まれます。「人間より画面の中身を把握している AI」が、自分の隣に立っている感覚に近いです。

どんな現場仕事で効きそうか

ここからは、実務で使う前提で「どこに刺さりそうか」を整理してみます。

1. バグ報告の準備が一瞬で終わる

エンジニアにバグを報告するときの面倒な工程といえば、

• スクショを撮る

• どこがおかしいかを赤枠で囲む

• 該当するエラーログをコピペする

• 設定値や URL を文章で補足する

このあたりです。Appshots を使うと、画面とテキストが同時に Codex に渡るので、まずはそのスレッドの中で AI に状況を整理してもらってから、要点だけ社内チャットに転記する、という運用に変えられます。

「報告書を書く前に、AI に下書きさせる」が現実的になります。

2. デザインレビューの「言語化」が早くなる

Figma や Photoshop、社内ツールの画面を Appshots で渡しながら、「このコンポーネント、余白おかしくない？」と聞けます。

Codex 側には画像と一緒に、

• アプリが内部的に持っている要素名やテキスト

• ウィンドウの構造的な情報

が渡っているので、単なる画像解析より一段精度の高い指摘が返ってきやすくなります。

「なんとなく違和感がある」というレビュアー側の感覚を、AI に 言語化してもらってからチームに共有する という使い方が現実的になりました。

3. 資料の引用がコピペ無しでできる

PDF ビューアや Notion、Pages、社内ナレッジツールなどを開いたまま Command 連打すれば、その画面の内容をそのまま Codex に渡せます。

• この資料の3章を要約して

• ここに出てくる数字を表形式にして

• 顧客向けに丸めて説明して

こういう依頼が、いちいち本文をコピペしなくても通るようになります。

特に、社内向けに作られた古い PDF や、コピー禁止になっている資料ビューアからの引用が必要なときに、効きそうです。

4. エラー画面の「原因聞き」がスムーズになる

ターミナルや IDE で長いエラーが流れたときに、

• 「いま見えているスクショ」

• 「画面外まで含めたエラーログ本文」

を一発で Codex に渡せます。

これまでは「該当行をコピペして、設定ファイルも貼って、環境情報も…」とやっていた前準備が、Command 2回で完了します。エンジニア側の体感としては、質問するまでの摩擦が一段下がるタイプの改善です。

これまでとの違いを1行で言うと

すごく雑にまとめると、こうなります。

• これまで → 人間が AI に説明する 時代

• これから → 人間が AI と同じ画面を見る 時代

これまでの AI とのやり取りは、人間が一度「画面に映っているもの」を文章に翻訳して、ようやく AI に渡せる、という構造でした。

Appshots は、その翻訳工程をまるごと省略します。

• 人間がやることは「キーを2回叩く」だけ

• AI 側は画面の中身を、人間より詳しく読む

• そのうえで会話に入ってくる

つまり、AI が人間の隣で同じ画面を見ている状態を、無理なく成立させる仕組みが出てきた、という話です。

想像できる「もう一歩先」の世界

ここからは少し未来の話です。

Appshots のような仕組みが当たり前になると、次のような景色が見えてきます。

• 営業担当が Salesforce を開いて Command 2回で AI に「次の打ち手」を聞く

• 経理担当が会計ソフトの画面を渡して「今月、ここの数字おかしくない？」と相談する

• 制作担当が Figma の画面を渡して「このトーン、コーポレートに合ってる？」と聞く

• 上司が部下のレポート画面を見ながら「ここの指摘、AI 的にはどう？」と二人で会話する

どれも、AI を呼び出すのに「資料を作る」必要がなくなる世界です。

これまで AI を使いこなしている人と、そうでない人を分けていた壁の一つに、「自分の状況を AI に伝わる形に翻訳できるかどうか」がありました。Appshots はその翻訳コストを、ほぼゼロに近づけます。

ということは、これから AI 活用が進む現場ほど、こういう「画面ごと渡す系」の機能が標準装備になっていくはずです。Windows や Linux 側、あるいは ChatGPT 本体や他社の AI クライアントが似た機能を載せてくるのも、たぶん時間の問題です。

注意しておきたい点

便利な分、業務利用ではいくつか気をつけたい点もあります。

• 画面に映っているものが、そのままクラウドに送られる ので、顧客情報や個人情報、社外秘の資料を映したまま使うと、そのまま外部に出る

• アクセシビリティ API 経由で「画面外のテキスト」まで読み取られるため、人間が想定していない範囲まで送信される可能性がある

• 業務用途で導入する場合は、送ってよい画面とそうでない画面のルールを、社内で先に決めておいた方がよさそう

「便利だから全社員に解禁」とやる前に、最低限ここだけは決めておきたいラインです。

まとめ

• OpenAI が Codex の新機能として Appshots を発表した

• Mac で Command キーを2回連打 するだけで、最前面のアプリ画面を Codex に渡せる

• 渡るのは スクリーンショット＋アプリが持っているテキスト で、画面外の文字情報まで読み取れる

• バグ報告、デザインレビュー、資料の引用、エラー解析など、コピペで疲れていた現場仕事が一段楽になる

• 構造としては「人間が AI に説明する時代」から「人間と AI が同じ画面を見る時代」へ進む一手

• ただし、画面に映ったものはそのままクラウドに渡るので、業務利用時は社内ルールの整備が前提になる

ボタンを2回押すだけで、AI が自分と同じ画面を見てくれる。たったそれだけのことなのですが、これまで AI に話しかけるたびに発生していた「状況を文章にして説明する」というひと手間が、すっぽり抜け落ちます。

地味な発表に見えて、業務での AI の使い方を一段押し上げてくる可能性のある機能でした。Mac で Codex を使っている方は、まずはお手元のアプリで一度「⌘ ⌘」を試してみてください。