agent-desktop

PC上のアプリをAIが操作するComputer Use型のOSS。画面を見ず部品単位で操作するRPA代替。

概要

agent-desktop は、AIがパソコン上のアプリケーションを操作する Computer Use 型のオープンソースソフトウェア。ai-agent に「手足」を与える層にあたり、既存のRPAの代替として使うことを想定したツールである。

kurage-articles-index に収録された記事「agent-desktop とは——AIがパソコンのアプリを操作する Computer Use のOSS。画面を見ずに部品で操作する仕組みと、RPAの代わりに使うときの注意」（2026-11-03 公開、トピック: agentdesktop / computeruse / rpa / aiagent / oss）で解説されている。

記事から読み取れる特徴

• 画面を見ずに操作する：スクリーンショットを読んで座標をクリックするのではなく、アプリのUIを「部品」として捉えて操作する方式。画像認識依存の不安定さを避ける設計思想と読める。
• RPAの代替としての位置づけ：従来のRPAが苦手としてきた対象を、AIエージェントの判断と組み合わせて扱う発想。
• 導入時の注意が明示されている：記事タイトルに「RPAの代わりに使うときの注意」とある通り、無条件に既存RPAを置き換えられるとは位置づけていない。

関連する概念・実体

• ai-agent — 判断する頭脳側。agent-desktop はその実行手段
• automation — 定型作業の自動化という文脈
• oss — オープンソースとして公開されている点
• browser-use — ブラウザに限定した操作自動化。agent-desktop はより広くデスクトップアプリ全般を対象とする
• openclaw — ケイパビリティ（実行能力）を担う層としての類似性
• measured-pitfall-catalog — 「使うときの注意」を実測ベースで残す本Wikiの傾向に通じる
• trust-boundary / config-declared-scope — エージェントにどこまで触らせるかを宣言する設計論
• kurage — 同著者のOSS群。agent-desktop もそのエコシステムの一部として紹介されている

未確認事項

記事本文は未読のため、対応OS、操作対象アプリの範囲、ライセンス、具体的なアーキテクチャ（アクセシビリティAPI経由か、アプリ内部の部品ツリーを参照するのか）は本ページでは断定していない。一次情報は上記記事を参照のこと。