dsh-llm-verifier

DSH LLM Verifier

给 DeepSeek Harness 的独立裁判插件。

主 Agent 干活，另一个模型验收：比候选、看进度、判交付，并在宿主生命周期边界上自动门控。

它做什么

• 裁判不是主模型。判官在设置里任选 Provider 与模型，只看观测到的 stdout/stderr 与真实文件 diff，不看 Agent 的自我陈述。
• 五档能力：两个候选做比较、多个候选择优、长任务看进度、还没有候选时自己起草、整个会话判交付。
• 自动门控。smart / strict 策略在 Agent 准备停止时自行判断该复核什么，不通过就 steering 让 Agent 修复，而不是指望模型主动想起工具。
• 判决可解释。每次调用都有逐判据分数、实际走的评分通道、token 与费用，看板能回答"这次为什么没通过"。
• 数据不出本地之外的边界之外。证据先脱敏限长，只发给你选定的判官。

安装

dsh plugin --profile web add dsh-llm-verifier
dsh web

打开 设置 → LLM Verifier，选判官模型即可。默认只启用显式工具；需要自动门控时把调用策略切到 smart。

五个工具

verifier_best_of_n 是唯一会自己生成候选的工具，也是最贵的；其余四个只在已有材料上判断。

文档

开发

pnpm install
pnpm run build      # 生成 lib/，宿主加载的就是这份产物
pnpm test           # vitest，测试在 test/<域>/
pnpm run verify:release

提交前跑 pnpm run verify:release。其余约定见 CONTRIBUTING.md。

许可

MIT。算法移植自 llm-as-a-verifier，见 docs/NOTICE.md。