2026年6月、Codex に Record & Replay が登場しました。OpenAI Developers の発表では、「Show Codex a workflow once. Reuse it as a skill.」──一度見せれば、スキルとして再利用できる、と説明されています。
自分の印象として、これはかなりよさそう、と感じています。理由はシンプルで、複雑になっている作業を、実際の操作からフローとして落とし込めるからです。
なぜ Record & Replay が効きそうか
AI に業務を任せようとすると、だいたい次のどれかになります。
- プロンプトで手順を文章化する
- 手順書やマニュアルを書いて渡す
- RPA やマクロを組む
どれも、作業が複雑になるほどコストが跳ね上がります。画面を何枚も跨ぐ、分岐がある、項目の選び方が状況で変わる、確認ステップが多い──こういう作業は、文章にすると漏れが出やすいし、読み手も AI も誤解しやすい。
Record & Replay は、その壁を「見せる」で越える発想です。ユーザーが普段どおり操作すると、Codex がその一連の流れを記録し、再利用可能なスキルに変換します。中身は確認・編集できる（inspectable / editable）ので、一度生成したあとも手を入れられます。
経費精算、勤怠打刻、工数入力、定期レポート作成など、UI 操作が絡む定型業務は典型例ですが、本質はもっと広いです。頭の中にある暗黙知を、実行可能なフローに変換できる、という点が魅力です。
Record & Replay とは
Codex App（デスクトップアプリ）向けのプラグインで、現時点では macOS のみ 利用できます。操作記録には Computer Use と同様、アクセシビリティと画面収録の権限が必要です。
プラグインは次の2要素で構成されています。
| 要素 | 役割 |
|---|---|
event-stream MCP サーバー |
ユーザーの操作を記録し、JSON ファイルとして保存する |
record-and-replay スキル |
記録内容を読み取り、再利用可能なスキルを作成する |
event-stream が提供する主なツールは3つです。
event_stream_start— 記録開始（ユーザー確認後、最長30分）event_stream_status— 記録状態の確認event_stream_stop— 記録終了。保存先パスを返す
記録結果は次のファイルに保存されます。
session.json— 記録時間や終了理由events.jsonl— 操作イベント本体（1行1イベント）
記録される内容には、使用アプリ・ウィンドウ情報、マウス・キーボード操作、フォーカス、選択テキスト、アクセシビリティツリーの変化などが含まれます。
座標ではなく「意図」として記録される
Record & Replay の設計で特に重要なのは、操作が画面座標ではなく アクセシビリティ API の UI 要素情報 として保存される点です。
azukiazusa さんの検証記事 では、勤怠アプリ「TimePort」での工数入力が例に挙げられています。日付の選択クリックは、次のように記録されます。
{
"kind": "mouse.click",
"mouse": {
"target": {
"description": "6/15(月)の工数を入力",
"role": "AXCheckBox",
"subrole": "AXToggleButton"
}
}
}
「この座標をクリックせよ」ではなく、「6/15(月)の工数を入力」というラベルを持つコントロールを操作する、という意図が残ります。画面レイアウトが多少変わっても、フローとして再現しやすい。従来のマクロ録画との差はここにあります。
複雑な作業ほど、クリック位置より「どの項目を選び、何を入力し、どこで保存するか」の方が本質です。Record & Replay はその本質を拾いにいく設計になっています。
記録からスキル、そして再実行まで
流れは次のとおりです。
- Codex App で Record & Replay プラグインを選び、「この作業を記録して」と依頼する
- ユーザーが実際の操作を行う
- 完了を伝えると記録が終了する
- Codex が
events.jsonlを読み取り、skill-creatorの手順でスキルを生成する - 以降、自然言語でスキルを呼び出して再実行できる
azukiazusa さんの例では、工数入力のデモから enter-timeport-work-hours というスキルが生成され、次のプロンプトで動いています。
TimePort 工数入力 を使って、6月8日に「社内業務／定例資料作成」を6.5時間で登録して。
ここで大事なのは、記録時の値（日付・案件名・時間など）をそのまま毎回再現するのではなく、ワークフローの型を抽出することです。デモは「こういう手順で入力する」という証拠であり、実行時には必要な値をユーザーから取る。複雑な操作列をフロー化しつつ、パラメータだけ差し替えて回せる、という形になります。
生成されたスキルの中身も、手順・確認項目・安全上の注意が文章として整理されます。たとえば「対象日を探す → 案件を選ぶ → 作業内容を入力 → 時間を置き換える → 保存する → 結果を検証する」といった流れが、再利用可能な runbook として残ります。
複雑な作業ほど向いている理由
Record & Replay が特に効きそうなのは、次のような作業です。
- 手順が多段で、文章化すると長くなる
- 画面遷移やメニュー選択が絡む
- プロンプトで説明するより、実演のほうが正確
- 繰り返し実行したいが、毎回微妙に入力値が変わる
逆に、毎回 UI が大きく変わる、判断が状況依存でブレる、失敗時のリカバリが複雑、といった作業は向きにくいでしょう。API や MCP で安定して操作できる部分は、そちらを優先する、という方針も record-and-replay スキル側に書かれています。
また、パスワードや API キーなどの機微情報はスキルに含めない、という安全上の注意もあります。記録対象の画面選びには気をつける必要があります。
操作マニュアルも、オートメーションの入口になりそう
個人的にもう一つ期待しているのは、プロダクトの操作マニュアルとの相性です。
SaaS の管理画面、社内ポータル、CRM、在庫管理──こういうプロダクトには、だいたい操作マニュアルがあります。「設定 → ユーザー追加 → 権限を選ぶ → 保存」といった手順が、スクショ付きで Notion や Confluence、ヘルプセンターに載っている。
問題は、マニュアルは人間が読んで手を動かす前提で書かれていることです。文章と画像は残るが、それをそのまま AI や RPA に渡しても動かない。手順書を作る人と、自動化を組む人が別になり、二重管理になりがちです。
Record & Replay なら、マニュアル通りに一度操作を見せるだけで、同じ手順を実行するスキルが作れる。マニュアルが「何をどの順番で触るか」の設計図だとすると、記録はその設計図を実行可能なフローに変換する工程、というイメージです。
想定できる使い方は次のようなものです。
- オンボーディング — 新人向けマニュアルの手順を記録し、定型的な初期設定を AI に任せる
- 社内プロダクトの運用 — 管理画面でのユーザー追加、権限変更、データエクスポートなど
- カスタマーサクセスの再現手順 — 問い合わせ対応で毎回同じ画面操作が発生するケース
- リリース後の確認作業 — ステージングで「この画面まで操作して結果を確認する」フロー
マニュアルとスキルがセットになると、人間向けの説明とAI 向けの実行手順を同じ操作実演から生やせる可能性があります。マニュアルを更新するときに記録も更新する、という運用を決めれば、ドキュメントとオートメーションのズレも抑えやすい。
もちろん、すべてのマニュアルがそのまま自動化できるわけではありません。「状況を見て判断する」ステップが多い手順や、本番データを触る危険な操作は、スキル化より人間の確認が必要です。それでも、「読むためのマニュアル」と「回すためのオートメーション」が別物のまま残る現状よりは、Record & Replay は橋を架けやすい、と感じています。
他のやり方との違い
| 方式 | 複雑な作業をフロー化するとき |
|---|---|
| プロンプト / SKILL.md | 文章化のコストが高い。漏れ・誤解が起きやすい |
| RPA / マクロ | 座標依存になりがち。UI 変更に弱い |
| MCP / コネクタ | API があれば最も安定。UI 操作は扱えない |
| Record & Replay | 実演からフロー抽出。UI 操作の暗黙知に強い |
Record & Replay は「全部 UI で再現しろ」という命令ではなく、記録をもとに意図した結果を達成するスキルを作る、という位置づけです。複雑な業務フローを、人が普段やっている形のまま AI に渡せる、というのが強みです。
まとめ
- Codex の Record & Replay は、macOS 上での操作実演を記録し、再利用可能なスキルに変換する機能
- 複雑な UI 操作を文章で説明するより、一度見せてフローに落とし込むほうが早い・正確、という前提に立っている
- 操作は座標ではなく UI 要素の情報として保存され、レイアウト変更にも比較的強い
- 記録内容からワークフローの型を抽出し、実行時はパラメータだけ差し替えて再実行できる
- 経費・勤怠・レポートなどの定型業務に限らず、「説明が難しいが、見せればわかる」作業全般に効きそう
- プロダクトの操作マニュアルも、実演からスキル化すればオートメーションの入口になりうる
まだ自分では試していませんが、複雑化した業務操作や、マニュアル化されている画面操作をフローとして資産化できる点で、かなり期待しています。