工具与能力

dsh-computer-use

ZRui-C/dsh-computer-use · ★ 43

ZRui-C精选

DSH 电脑控制:Playwright/CDP 后台操作 Chromium,Accessibility 优先控制 macOS;动作锁定到正确进程与窗口,不抢前台、不移动鼠标,提供已签名公证的 Universal 2 DMG 安装包。

许可证
Apache-2.0
收录
2026-08-14
维护状态
active
安装方式
github
查看 manifest 检查详情
manifest 状态
已声明
manifest 路径
package.json#dsh
manifest 检查
2026-08-19
生命周期脚本
未发现

manifest 静态检查只记录声明与安装脚本,不代表兼容性或安全审查。

安装

dsh plugin --profile web add github:ZRui-C/dsh-computer-use

GitHub 源码安装:首次需按提示配置 allowBuilds 构建授权后重试

安装与环境配置指引、插件开发教程见 DSH 中文社区文档 ↗

项目说明

原始 README · 正文语言:中文 · 阅读英文 README

目录
  1. 安装
  2. Homebrew
  3. DMG
  4. 能做什么
  5. macOS 后台控制
  6. 平台边界
  7. DSH 集成
  8. 从源码构建
  9. OCR 语言与桌面观察边界
  10. 工具协议
  11. 项目资料
  12. 社区

安装

Homebrew

brew tap zrui-c/tap
brew trust zrui-c/tap
brew install --cask dsh-computer-use
open -a "DSH Computer Use"

DMG

  1. 从 Releases 下载最新版 DSH-Computer-Use-*-universal.dmg。
  2. 将 DSH Computer Use 拖入“应用程序”并打开。

两种方式都需要按设置中心引导授权“辅助功能”和“屏幕录制”,在“DSH 插件”一行点击“安装”,然后重启正在运行的 DSH Host。

Homebrew Cask 与官方 DMG 安装的是同一份 Universal 2 App,均经过 Developer ID 签名和 Apple 公证。普通用户不需要安装 Xcode、Swift,也不需要下载源码;系统中需要已有 DSH 和 Google Chrome。

能做什么

控制面 感知 输入
Chromium Playwright、CDP Accessibility/DOM、frame、标签页、可选 OCR 基于 ref 的导航、鼠标、键盘、表单、滚动、拖拽、上传
macOS Accessibility 树优先,Vision OCR 补语义,独立窗口捕获 AX 语义动作、定向 SkyLight/CoreGraphics,无目标时才用全局 HID

每次动作都会返回新的、有预算上限的文本观察。模型读取 role、name、value、状态、几何和稳定 snapshot ref,不会假装自己能看懂截图。页面文字与 OCR 内容统一视为不可信 UI 数据。

macOS 后台控制

  • 每个动作贯通 PID、WindowServer window ID、AX 窗口 frame 和元素身份。
  • 坐标输入前优先尝试 AX 语义动作。
  • 支持时把鼠标和键盘事件直接投递到目标进程/窗口。
  • 使用可穿透的软件光标;定向动作不移动物理鼠标。
  • 即使其他 App 保持前台,动作后观察仍锁定上一个目标窗口。
  • 私有能力不可用时回退公开 CoreGraphics,或明确失败关闭。

平台边界

ScreenCaptureKit 是公开 API。可选的后台输入路径会动态加载 SkyLight 私有符号,适合 Developer ID 分发,不适合 Mac App Store。私有 API 不受 Apple 支持,macOS 升级后可能变化。

在 macOS 26 上,Stage Manager 可能只向 WindowServer 暴露架上窗口的缩略图;为这种表示创建捕获 filter 甚至可能在 SkyLight 内直接 abort。DSH Computer Use 会先比较 AX 与 WindowServer 几何,避开崩溃路径,保留 AX 观察并返回明确 warning,绝不会把缩略图拉伸成伪造的全窗口截图。

DSH 集成

App 内嵌包已在 package.json 声明 DSH bundle。设置中心执行的官方命令等价于:

dsh plugin --profile web add --save-exact file:/path/to/DSH\ Computer\ Use.app/Contents/Resources/Plugin

cordis.patch.yml 会安装 Host runtime,并将 computer_observe / computer_action 注册到 DSH 的 global tool layer,由所有 agent preset 继承。不要求用户手改 profile YAML 或复制 preset。设置中心会识别旧版“只有 dependency、没有启用 bundle”的状态并提供修复。安装、修复或升级后需要重启正在运行的 DSH Host。

从源码构建

要求:macOS 14+、Xcode/Swift 5.9+、Node.js 22+、pnpm 11+、DSH 和 Google Chrome。

pnpm install
pnpm run typecheck
pnpm run test
pnpm run test:native
pnpm run build

pnpm run build 生成:

native/macos-helper/dist/DSH Computer Use.app

默认构建 Universal 2。本地快速迭代可只编译当前架构:

COMPUTER_USE_ARCHS=arm64 pnpm run build

生成本地拖拽安装 DMG:

pnpm run package:dmg

公开发布需要 Developer ID Application 证书和 Apple 公证。完整的本地与 GitHub Actions 流程见 documentation/distribution.zh.md。

OCR 语言与桌面观察边界

OCR 默认自动检测语言。可在 computer-use-host 配置中设置有优先级的 Vision 语言标识列表 ocrLanguages,例如 ["zh-Hans", "en-US"],优先识别简体中文和英语。此设置同时作用于桌面窗口、主显示器回退和浏览器 OCR。不受支持的语言会返回明确的 OCR 警告或错误,不再静默丢失识别结果;可用语言取决于 macOS 版本。

桌面 AX 树最多遍历 64 层、2,000 个节点(Host 的 maxNodes 默认仍为 250)。达到深度或节点上限时会返回 truncated 和警告。受限快照仍可能遗漏控件,请缩小视图或重新观察,不要猜测引用。

开发依赖对齐 DSH 0.2.1-alpha.1,同时保留原先 0.1.0-rc.6 的 peer 版本范围。这不代表每个中间版本或 macOS 实机环境均已测试。

工具协议

computer_observe 返回 browser 或 desktop 的 interactive、full、changes 文本快照,支持 query 过滤和 auto | always | never OCR。

computer_action 每次只执行一个浏览器或桌面动作,并返回动作后的语义状态。ref/坐标动作必须携带最新 snapshot_id;过期目标会失败关闭并要求重新观察。上传文件严格限制在当前 DSH Session workspace 内。

项目资料

社区

项目采用 Apache-2.0 许可证。本项目不受 Apple 背书;“DeepSeek”等名称归各自权利人所有,本文仅用于说明与 DeepSeek Harness/DSH 的兼容关系。