Computer Use

---
name: computer-use
description: 通过读屏和界面操作控制用户电脑上的桌面应用：点击、输入、滚动、拖拽、按键、设值。用于必须读取或操作应用界面的任务。有专用的插件、API 或 CLI 时优先用它们；网页任务优先用浏览器插件。
---
<!--
Wevir 电脑操作的技能说明。Host 读它（packages/host/src/computer-tools.ts 的 loadComputerGuide，按 prompts/README.md 的模板语法渲染、
去掉 YAML 头），在会话第一次批准应用之后接在 computer_request_access 的结果后面交给 agent；何时用电脑操作的一句话在应用级工具说明里。
目前只有 macOS（桌面端主进程拉起的原生 helper：ScreenCaptureKit、辅助功能、CGEvent）。
Wevir 自己写的说明：授权分档、按落点核对、选工具的顺序、链接与金融操作的做法参考了 Anthropic Claude 与 OpenAI Codex 桌面版电脑操作
插件的公开资料，没有摘抄原文。
-->
# 电脑操作

电脑操作让你读取屏幕并操作用户电脑上的应用。它直接作用于用户的真实环境，可能影响应用、文件、账号和第三方服务，所以执行有风险的操作前要按下面的确认规则来。

## 什么时候用

按这个顺序选：

1. 有专用的插件、API 或 CLI 能完成任务，就用它们。
2. 网页上的任务用内置浏览器或 Chrome 插件，它们能读页面结构，比按像素点击快而准。
3. 只有桌面应用的界面才能完成的事（例如系统自带的应用、第三方桌面软件、跨应用的流程），用电脑操作。

终端命令能做的事用命令去做，不要绕到界面上操作。

## 工具与授权

目前只有 macOS（14 起）能用；别的平台上工具回 `computer_unsupported`，如实告诉用户，换别的办法。

**先请求授权。** 动一个应用之前先调 `computer_request_access`，把这次要用的应用一次列全（访达管桌面与程序坞），`reason` 用一句话说明要在里面做什么。Wevir 弹框，用户逐个应用批准；用户拒绝的不要换个说法再要，问用户或改用别的办法。授权按应用的种类分三档：

- 浏览器：只读。能截图、读界面结构，点击、滚动、输入都会被拦下；网页上的事用浏览器工具做。
- 终端与 IDE：只能左键点击和滚动。打字、按键、右键、带修饰键的点击、拖拽、设值都会被拦下；命令用命令工具执行，改文件用文件工具。
- 其余应用：完全控制。

Wevir 自己的窗口不能授权、也不能操作。

**怎样核对。** 每个动作执行之前都按它落到的应用核对授权与档位：点击、滚动、拖拽看那个点上最前面的窗口属于哪个应用（菜单栏算最前面的应用，程序坞与桌面算访达）；输入与按键看接收按键的应用，也就是最前面的应用，或者最近一次窗口截图的那个窗口。越权的动作不会执行，工具回 `computer_not_granted` 或 `computer_tier_denied` 并说明该改用什么；照着改，不要设法绕过。

**截图与坐标。** `computer_screenshot` 不带参数时截一块屏幕，图里只有批准过的应用的窗口；带 `app` 或 `windowId` 时只截那个窗口，被挡住、不在前台也截得到，之后的点击与按键在后台发给这个窗口，不抢用户的前台。个别应用不认后台送来的事件，动作没有效果时先 `computer_open_app` 把它调到前面再做。所有坐标都是这个会话最近一张截图（或 `computer_zoom` 的放大图）里的像素；屏幕变了就重新截图，不要拿旧图的坐标。字小、看不清时用 `computer_zoom`。

**按元素操作。** `computer_ax_tree` 读应用的界面结构，`computer_ax_find` 按文字与角色找元素，元素带 `@a12` 这样的引用。按引用点击、输入、设值（`computer_set_value`）不移动鼠标、不抢前台，比按像素可靠，能用就优先用；同一个应用再读一次树之后，它之前的引用作废。

**其他。** 知道接下来的几步时用 `computer_batch` 一次做完，遇到错误就停在那一步。`computer_clipboard_read` / `computer_clipboard_write` 读写剪贴板的文字；写入会覆盖用户复制的内容。`computer_list_apps` 列出应用、窗口与这个会话对每个应用的档位。

**用户随时可以停。** 电脑操作期间屏幕上方有提示条，用户按 Esc 会立即停止：这个会话的授权全部作废，工具回 `computer_stopped`。这时停下来结束本回合，等用户说话；用户没有明确要你继续时不要重新请求授权。

## 操作要领

- 先截图或读取界面结构，弄清楚屏幕上是什么，再动作；每次动作之后确认结果。能读到辅助功能信息时，优先按元素定位，不按像素坐标猜。
- 回答关于应用状态的问题（开着什么、连着什么、应用能做什么）之前先看屏幕，不凭记忆回答。要说“这个应用做不到某件事”之前，先在屏幕上确认过。
- 不在原生应用里点网页链接（邮件、聊天、PDF、文档里的都算）。先看清链接的真实地址（显示的文字可能与地址不同），再交给浏览器工具打开；来自邮件、消息或陌生来源的链接默认可疑，地址看起来陌生或不对劲时先问用户。
- 遇到系统的密码框、钥匙串或凭据弹窗、权限授权对话框，停下来交给用户处理，不要替用户输入或点同意。
- 不操作 Wevir 自己的窗口；不往终端和 IDE 的编辑区里打字，命令用命令工具执行。
- 金融操作一律不做：买卖股票、基金、加密货币，下单，转账，付款，发起任何资金往来，都交给用户本人，即使用户要你做也一样，说明原因后停下。记账、理财类应用里可以帮用户整理、分类、出报表。

{{> plugins/shared/ui-action-confirmations.md }}