浏览全部

开发与运行时 · v0.3.1

dsh-eval-harness

能力可执行外部程序写入文件发起网络请求

DSH 插件/skill 作者的回归评测门禁:写 yaml 用例 → headless 驱动真实 agent 跑 → 解析 session trace 断言 → 对比 baseline 出 PASS/WARN/FAIL 报告与 CI 退出码。

作者原文(英文)

DSH 插件回归评测门禁:yaml 用例 + headless 驱动 + trace 断言 + baseline 门禁(eval_run / eval_gate)

简介取自插件自己的 README 原文。

认证 L1已扫描 ✓健康 S/95周下载 21
6 项能力
许可
MIT
发布
2026-08-24
维护者
biboyang0622

安装命令

dsh plugin --profile web add dsh-eval-harness@0.3.1

未检测

这个包的 tarball 里确实有 dsh.bundle.patch,补丁文件存在且可解析。但「有补丁」是静态检查的结果,不是装过——它能不能在这台机器上装成,还没有验证。

检测报告

关注度高。命中了不少能力模式,其中可能有需要留意的。逐条看下面的清单。
1高关注2需留意3一般18未命中
高关注需留意一般

能力清单

  • 可执行外部程序spawns-processes高关注2 处命中
    • lib/runner.js:1import { spawn, spawnSync } from 'node:child_process';
    • src/runner.ts:1import { spawn, spawnSync } from 'node:child_process'
    • 看它调用哪些程序。调用本机已有的工具是常见做法。
  • 写入文件writes-files需留意16 处命中
    • lib/runner.js:352await mkdir(outputDir, { recursive: true });
    • lib/runner.js:353await mkdir(sessionBase, { recursive: true });
    • lib/runner.js:361await mkdir(workspace, { recursive: true });
    • lib/runner.js:362await mkdir(sessionRoot, { recursive: true });
    • 看写入位置。写自己的配置目录是正常的,写系统目录不是。
  • 发起网络请求network需留意2 处命中
    • lib/judge.js:49res = await fetch(`${baseUrl}/chat/completions`, {
    • src/judge.ts:58res = await fetch(`${baseUrl}/chat/completions`, {
    • 看请求发往哪些域名。发往作者自己的后端是常见做法。
  • 读取文件reads-files一般12 处命中
    • lib/collector.js:242const bytes = await readFile(path);
    • lib/collector.js:253const bytes = await readFile(path);
    • lib/gate.js:147text = await readFile(path, 'utf8');
    • lib/runner.js:130entries = await readdir(casesDir);
    • 读文件是绝大多数插件的正常工作方式,本身不构成顾虑。
  • 读取环境变量reads-env一般12 处命中
    • lib/judge.js:41const apiKey = process.env.EVAL_JUDGE_API_KEY || process.env.DEEPSEEK_API_KEY;
    • lib/judge.js:45const baseUrl = (process.env.EVAL_JUDGE_BASE_URL ?? 'https://api.deepseek.com').replace(/\/+$/, '');
    • lib/judge.js:46const model = process.env.EVAL_JUDGE_MODEL ?? 'deepseek-chat';
    • lib/runner.js:168const configured = dshBin ?? process.env.DSH_BIN ?? 'dsh';
    • 环境变量里常混有密钥。看它是否把整个 env 都读走。
  • 接触凭据或密钥credentials一般4 处命中
    • lib/judge.js:41const apiKey = process.env.EVAL_JUDGE_API_KEY || process.env.DEEPSEEK_API_KEY;
    • src/judge.ts:49const apiKey = process.env.EVAL_JUDGE_API_KEY || process.env.DEEPSEEK_API_KEY
    • 看它读取哪些凭据、发往哪里。用于登录自己的服务是正常的。
逐条扫描明细
能力标识关注度命中次数
可执行外部程序spawns-processes高关注2
写入文件writes-files需留意16
发起网络请求network需留意2
读取文件reads-files一般12
读取环境变量reads-env一般12
接触凭据或密钥credentials一般4

这份报告的口径

扫描读的是包里的源码,全程不执行第三方代码。 本次读了 46 个文件,扫描于 2026-10-21。 命中次数只说明源码里出现过这类调用,不说明行为好坏——一个插件读写文件 500 次和 1 次 都会被记为「读取文件」。这是能力清单,不是信任评分,也不是安全结论: 没扫出来的能力可能只是写法没被规则覆盖。

可信度

95 健康分 S 扣分项下方逐条附证据
  • -5没有仓库或主页地址warn

认证等级 L1

  • L0静态结构与契约✓sha512-FLXEM4qwainEUxtt… 与本地 tarball 复算一致,补丁与入口齐备
  • L1配置组合与依赖图✓跨包无 entry id 冲突,插入模块可解析,目录内 peer 满足
  • L2隔离沙箱冒烟—尚未试装
  • L3运行时健康监控—未抽样(本层是抽样检测:没有会话不等于干净)
评分口径与作者信息

从 100 分开始按规则扣减:fail −20 / major −10 / warn −5 / minor −2;star 数、下载量、LLM 输出都不参与评分

维护者
biboyang0622
仓库
—
许可
MIT
最后发布
2026-08-24
周下载
21
star
—

扫描状态:已扫描。能力是事实,不是缺陷; 周下载与 star 只作参考,不参与评分。

认证等级只回答四件事:包本身是否完整可解析(L0)、能不能与别的插件组合(L1)、隔离环境里装不装得上并起得来(L2)、抽样运行时有没有异常(L3)。依赖漏洞、仓库存活、下载量都不参与评级,只作为独立信号标注。可信 ≠ 无漏洞,上架 ≠ 推荐。

DSH peer 依赖1 个cordis均为 @deepseek-ai/ 下的包
第三方依赖5 个
bundle patch./cordis.patch.yml
依赖安全公告已查询全部依赖,没有匹配到已公开的安全公告(含 DSH 框架包在内的 @deepseek-ai/* 不作查询——那是运行时自己的问题,不是插件的。)

返回首页