开发与运行时 · v0.3.1
dsh-eval-harness
DSH 插件/skill 作者的回归评测门禁:写 yaml 用例 → headless 驱动真实 agent 跑 → 解析 session trace 断言 → 对比 baseline 出 PASS/WARN/FAIL 报告与 CI 退出码。
作者原文(英文)
DSH 插件回归评测门禁:yaml 用例 + headless 驱动 + trace 断言 + baseline 门禁(eval_run / eval_gate)
简介取自插件自己的 README 原文。
认证 L1已扫描 ✓健康 S/95周下载 21
6 项能力安装命令
dsh plugin --profile web add dsh-eval-harness@0.3.1
未检测
这个包的 tarball 里确实有 dsh.bundle.patch,补丁文件存在且可解析。但「有补丁」是静态检查的结果,不是装过——它能不能在这台机器上装成,还没有验证。
检测报告
关注度高。命中了不少能力模式,其中可能有需要留意的。逐条看下面的清单。
1高关注2需留意3一般18未命中
高关注需留意一般
能力清单
- 可执行外部程序
spawns-processes高关注2 处命中lib/runner.js:1import { spawn, spawnSync } from 'node:child_process';src/runner.ts:1import { spawn, spawnSync } from 'node:child_process'- 看它调用哪些程序。调用本机已有的工具是常见做法。
- 写入文件
writes-files需留意16 处命中lib/runner.js:352await mkdir(outputDir, { recursive: true });lib/runner.js:353await mkdir(sessionBase, { recursive: true });lib/runner.js:361await mkdir(workspace, { recursive: true });lib/runner.js:362await mkdir(sessionRoot, { recursive: true });- 看写入位置。写自己的配置目录是正常的,写系统目录不是。
- 发起网络请求
network需留意2 处命中lib/judge.js:49res = await fetch(`${baseUrl}/chat/completions`, {src/judge.ts:58res = await fetch(`${baseUrl}/chat/completions`, {- 看请求发往哪些域名。发往作者自己的后端是常见做法。
- 读取文件
reads-files一般12 处命中lib/collector.js:242const bytes = await readFile(path);lib/collector.js:253const bytes = await readFile(path);lib/gate.js:147text = await readFile(path, 'utf8');lib/runner.js:130entries = await readdir(casesDir);- 读文件是绝大多数插件的正常工作方式,本身不构成顾虑。
- 读取环境变量
reads-env一般12 处命中lib/judge.js:41const apiKey = process.env.EVAL_JUDGE_API_KEY || process.env.DEEPSEEK_API_KEY;lib/judge.js:45const baseUrl = (process.env.EVAL_JUDGE_BASE_URL ?? 'https://api.deepseek.com').replace(/\/+$/, '');lib/judge.js:46const model = process.env.EVAL_JUDGE_MODEL ?? 'deepseek-chat';lib/runner.js:168const configured = dshBin ?? process.env.DSH_BIN ?? 'dsh';- 环境变量里常混有密钥。看它是否把整个 env 都读走。
- 接触凭据或密钥
credentials一般4 处命中lib/judge.js:41const apiKey = process.env.EVAL_JUDGE_API_KEY || process.env.DEEPSEEK_API_KEY;src/judge.ts:49const apiKey = process.env.EVAL_JUDGE_API_KEY || process.env.DEEPSEEK_API_KEY- 看它读取哪些凭据、发往哪里。用于登录自己的服务是正常的。
逐条扫描明细
| 能力 | 标识 | 关注度 | 命中次数 |
|---|---|---|---|
| 可执行外部程序 | spawns-processes | 高关注 | 2 |
| 写入文件 | writes-files | 需留意 | 16 |
| 发起网络请求 | network | 需留意 | 2 |
| 读取文件 | reads-files | 一般 | 12 |
| 读取环境变量 | reads-env | 一般 | 12 |
| 接触凭据或密钥 | credentials | 一般 | 4 |
这份报告的口径
扫描读的是包里的源码,全程不执行第三方代码。 本次读了 46 个文件,扫描于 2026-10-21。 命中次数只说明源码里出现过这类调用,不说明行为好坏——一个插件读写文件 500 次和 1 次 都会被记为「读取文件」。这是能力清单,不是信任评分,也不是安全结论: 没扫出来的能力可能只是写法没被规则覆盖。
可信度
95
健康分 S
扣分项下方逐条附证据
- -5没有仓库或主页地址warn
认证等级 L1
- L0静态结构与契约✓sha512-FLXEM4qwainEUxtt… 与本地 tarball 复算一致,补丁与入口齐备
- L1配置组合与依赖图✓跨包无 entry id 冲突,插入模块可解析,目录内 peer 满足
- L2隔离沙箱冒烟—尚未试装
- L3运行时健康监控—未抽样(本层是抽样检测:没有会话不等于干净)
评分口径与作者信息
从 100 分开始按规则扣减:fail −20 / major −10 / warn −5 / minor −2;star 数、下载量、LLM 输出都不参与评分
- 维护者
- biboyang0622
- 仓库
- —
- 许可
- MIT
- 最后发布
- 2026-08-24
- 周下载
- 21
- star
- —
扫描状态:已扫描。能力是事实,不是缺陷; 周下载与 star 只作参考,不参与评分。
认证等级只回答四件事:包本身是否完整可解析(L0)、能不能与别的插件组合(L1)、隔离环境里装不装得上并起得来(L2)、抽样运行时有没有异常(L3)。依赖漏洞、仓库存活、下载量都不参与评级,只作为独立信号标注。可信 ≠ 无漏洞,上架 ≠ 推荐。
| DSH peer 依赖 | 1 个cordis均为 @deepseek-ai/ 下的包 |
|---|---|
| 第三方依赖 | 5 个 |
| bundle patch | ./cordis.patch.yml |
| 依赖安全公告 | 已查询全部依赖,没有匹配到已公开的安全公告(含 DSH 框架包在内的 @deepseek-ai/* 不作查询——那是运行时自己的问题,不是插件的。) |
DSH