Back to skills
SKILL.md
Windows Gui Automation Cn
ASecurity开箱即用的Windows桌面GUI自动化集成技能,整合原生UI自动化、鼠标控制、截图识别、AI视觉分析,一站式解决Windows桌面自动化需求。支持打开应用、点击、输入、截图、OCR识别、流程自动化。
- 3 stars
- 0 votes
- 0 copies
- 2 views
- Added September 9, 2026
Works with
Security analysis
100/100npx -y skills add Lord1Egypt/awesome-skill-forge --skill windows-gui-automation-cn --agent claude-codeAre you the author of Windows Gui Automation Cn?
Add the live security badge to your README. It updates with every re-scan.
[](https://www.skillsdirectory.com/skills/lord1egypt-windows-gui-automation-cn)---
name: Windows GUI 自动化集成 (中文)
slug: windows-gui-automation-cn
description: 开箱即用的Windows桌面GUI自动化集成技能,整合原生UI自动化、鼠标控制、截图识别、AI视觉分析,一站式解决Windows桌面自动化需求。支持打开应用、点击、输入、截图、OCR识别、流程自动化。
version: 1.0.0
author: xiatian5
tags: [windows, automation, gui, native, chinese, rpa, desktop]
---
# Windows GUI 自动化集成 (中文) 🪟🤖
一站式整合Windows平台上的所有桌面GUI自动化能力,开箱即用,无需复杂配置。支持原生UI自动化、鼠标键盘控制、截图识别、AI视觉分析,让你轻松构建Windows桌面自动化工作流。
## 触发词
当用户说这些话时,调用这个技能:
- "帮我自动化Windows桌面"
- "Windows GUI自动化"
- "桌面自动化"
- "点击这个窗口"
- "自动操作应用程序"
- "RPA Windows"
- "Windows原生自动化"
- "自动打开程序点击按钮"
## 功能特性
| 功能 | 说明 | 依赖技能 |
|------|------|----------|
| **原生UI自动化** | 通过Windows UI Automation API查找和操作控件 | `windows-ui-automation` |
| **原生鼠标控制** | 高精度原生鼠标移动点击,支持DPI感知 | `win-mouse-native` |
| **桌面控制** | 整体桌面控制和输入能力 | `windows-desktop-control` |
| **AI视觉自动化** | Midscene AI视觉驱动的桌面自动化 | `midscene-computer-automation` |
| **截图能力** | 全屏、区域、窗口截图 | `windows-screenshot` |
| **RPA框架** | Windows RPA高级工作流支持 | `windows-rpa` |
## 快速开始
### 1. 环境检查
这个技能依赖以下已安装的技能,确保都已安装:
```powershell
clawhub list | findstr windows
```
如果缺少任何依赖,运行:
```powershell
clawhub install windows-ui-automation win-mouse-native windows-desktop-control midscene-computer-automation windows-screenshot windows-rpa
```
### 2. 基础使用示例
#### 示例1:打开记事本并输入文字
```powershell
# 使用windows-desktop-control启动应用
Start-Process notepad.exe
Start-Sleep -Milliseconds 500
# 获取窗口句柄
$notepad = Get-Process | Where-Object {$_.ProcessName -eq "notepad"} | Select-Object -First 1
# 使用原生UI自动化找到编辑区域并输入
# (具体实现由windows-ui-automation完成)
```
#### 示例2:点击指定坐标
```powershell
# 使用win-mouse-native进行高精度点击
# 已集成,直接调用相应函数即可
```
#### 示例3:截图并AI分析
```powershell
# 截图保存
windows-screenshot capture --output screenshot.png
# 使用AI分析截图内容
# (由midscene-computer-automation提供支持)
```
## 工作流模板
### 常用自动化模板
### 模板1:每天定时打开应用并签到
```powershell
# 伪代码示例
1. 启动目标应用
2. 等待窗口加载完成
3. 查找"签到"按钮
4. 点击按钮
5. 确认签到成功
6. 记录结果到日志文件
```
### 模板2:批量数据录入
```powershell
# 从CSV读取数据
# 循环逐条输入到应用表单
# 每次输入后点击保存
# 处理异常情况
```
### 模板3:监控窗口变化并通知
```powershell
# 定时截图对比
# 检测到变化时发送通知
# 记录变化历史
```
## API 使用方法
### 整合调用流程
1. **启动阶段**
- 检查依赖技能是否可用
- 获取当前桌面状态
- 启动目标应用程序
2. **定位阶段**
- 优先尝试原生UI自动化按控件类型/名称定位
- 定位失败时使用AI视觉分析找图找元素
- 返回定位结果和坐标
3. **操作阶段**
- 根据元素类型执行相应操作(点击、输入、选择等)
- 验证操作是否成功
- 重试处理失败情况
4. **完成阶段**
- 保存结果和截图
- 记录执行日志
- 返回执行状态
## 最佳实践
1. **总是先尝试原生UI自动化**,它比视觉识别更快更可靠
2. **失败时自动降级到AI视觉识别**,提高成功率
3. **添加合理的等待时间**,应用加载需要时间
4. **总是保存执行截图**,便于问题排查
5. **使用日志记录每一步**,方便后续优化
## 常见问题
**Q: 需要管理员权限吗?**
A: 操作大部分应用不需要,但操作UAC提示或系统级应用需要管理员权限。
**Q: 支持高DPI显示器吗?**
A: 支持,`win-mouse-native`已经处理了DPI缩放问题。
**Q: 可以自动化游戏吗?**
A: 这个技能主要针对办公应用和GUI软件,不是为游戏设计的。许多游戏有反作弊保护,使用需谨慎。
## 更新日志
### v1.0.0 (2026-03-30)
- 初始发布
- 整合主流Windows自动化技能到统一接口
- 提供中文文档和使用模板
## 相关技能
- [windows-ui-automation](https://clawhub.ai/skills/windows-ui-automation) - 原生Windows UI自动化
- [win-mouse-native](https://clawhub.ai/skills/win-mouse-native) - 原生Windows鼠标控制
- [midscene-computer-automation](https://clawhub.ai/skills/midscene-computer-automation) - AI视觉驱动的计算机自动化
- [windows-rpa](https://clawhub.ai/skills/windows-rpa) - Windows RPA高级功能
---
*如果你觉得这个技能有用,请给它点个星,谢谢!⭐*
Attribution
Related skills
View all in tools →Comments
Loading comments…
Newsletter
Get the weekly list of safe new skills, and the ones we pulled.