UI-Genie
基于多模态大模型的自然语言 UI 自动化（Ember 云平台）
UI-Genie
UI-Genie（智能 UI 执行精灵） 是 Ember 云平台的核心能力：测试人员用 自然语言 描述操作意图，系统在多模态模型驱动下于 云真机 上执行并返回结果。
适用场景
- 探索性测试：快速验证新功能主路径
- 回归抽检：用 NL 指令复跑关键场景
- 无脚本维护：减少传统 Appium / 脚本迭代成本
- 与知识库结合：业务术语、页面结构由平台知识库辅助理解
工作流程
- 在 Workspace 中选择目标 App 与 云真机设备
- 编写或从 指令仓库 选择 NL 指令（如「登录测试账号并进入订单列表」）
- UI-Genie 解析屏幕截图与控件信息，逐步执行
- 查看执行日志、截图与失败步骤
- 满意指令可保存到指令仓库或任务模板
与桌面端移动端测试的区别
| UI-Genie（云） | 桌面移动端工作台 | |
|---|---|---|
| 驱动方式 | 多模态 NL | 步骤式 / Agent Apps |
| 设备 | 云真机池 | 本地 USB |
| 协作 | 多租户、CI Token | 个人工作台 |
配置要点（租户管理员）
- 配置平台侧 多模态模型 与 uiagent 服务
- 维护 知识库（业务词典、页面说明）
- 管理设备池与 Workspace 权限
- 为 CI 签发 AccessToken
开发者本地联调时，需与 lmweb 的 VITE_UI_GENIE_* 等环境变量及 EMBER_DEBUG_TEMPLATE_ID 保持一致，见 ember-mcp。
限制说明
- UI-Genie 依赖屏幕理解与模型推理，复杂动效或强对抗 UI 可能需要拆分指令
- 执行结果需人工确认关键断言，平台不替代质量签字责任