模型与账号 · v0.1.0

dsh-agent-eval

能力以 shell 执行命令可执行外部程序写入文件

DSH 插件：Agent 能力评估框架 — 定义任务、跑 benchmark、评分、跟踪改进。

作者原文（英文）

DSH plugin: evaluate agent performance on defined tasks — run benchmarks, score outcomes, track improvement over prompt/model changes.

简介取自插件自己的 README 原文。

dsh-plugindeepseek-harnessevalbenchmarkagent-evaluationscoring

认证 L1已扫描 ✓健康 B/85周下载 14

4 项能力

许可: MIT
发布: 2026-08-14
维护者: dmso
插件 ID: 1483

安装命令

dsh plugin --profile web add dsh-agent-eval@0.1.0

强装后仍失败

即使绕过版本门禁，这个包装上之后仍然失败。说明问题不只是版本对齐，包本身在当前环境里也跑不起来。

检测报告

关注度高。命中了不少能力模式，其中可能有需要留意的。逐条看下面的清单。

2高关注1需留意1一般20未命中

高关注需留意一般

能力清单

以 shell 执行命令shell-exec高关注2 处命中
- lib/runner.js:19output = execSync(`dsh --profile headless "${task.prompt.replace(/"/g, '\\"')}"`, {
- lib/runner.js:78execSync(expected.command, { cwd: workspace, encoding: 'utf-8', timeout: 30000, stdio: ['ignore', 'pipe', 'pipe'] });
- 看命令字符串是拼出来的还是写死的。拼接用户输入才是真正的风险。
可执行外部程序spawns-processes高关注1 处命中
- lib/runner.js:11import { execSync } from 'node:child_process';
- 看它调用哪些程序。调用本机已有的工具是常见做法。
写入文件writes-files需留意3 处命中
- lib/index.js:58await mkdir(workspace, { recursive: true });
- lib/index.js:77await mkdir(outDir, { recursive: true });
- lib/index.js:79await writeFile(outFile, JSON.stringify(suite, null, 2));
- 看写入位置。写自己的配置目录是正常的，写系统目录不是。
读取文件reads-files一般4 处命中
- lib/index.js:47tasks = JSON.parse(await readFile(suitePath, 'utf-8'));
- lib/index.js:115readFile(resolve(args.baseline), 'utf-8').then(JSON.parse),
- lib/index.js:116readFile(resolve(args.current), 'utf-8').then(JSON.parse),
- lib/runner.js:62const content = await readFile(path, 'utf-8');
- 读文件是绝大多数插件的正常工作方式，本身不构成顾虑。

逐条扫描明细

能力	标识	关注度	命中次数
以 shell 执行命令	`shell-exec`	高关注	2
可执行外部程序	`spawns-processes`	高关注	1
写入文件	`writes-files`	需留意	3
读取文件	`reads-files`	一般	4

这份报告的口径

扫描读的是包里的源码，全程不执行第三方代码。本次读了 13 个文件，扫描于 2026-10-15。命中次数只说明源码里出现过这类调用，不说明行为好坏——一个插件读写文件 500 次和 1 次都会被记为「读取文件」。这是能力清单，不是信任评分，也不是安全结论：没扫出来的能力可能只是写法没被规则覆盖。

可信度

85 健康分 B 扣分项下方逐条附证据

-10声明与实物不符：peer-static-import-unsatisfiedmajor：{'@deepseek-ai/dsh-tools': '^0.1.0-rc.6'}
-5没有仓库或主页地址warn

认证等级 L1

L0静态结构与契约✓sha512-8qJuHV4I7Io7rFvg… 与本地 tarball 复算一致，补丁与入口齐备，另有 1 项声明不一致（计入健康扣分）
L1配置组合与依赖图✓peer 型依赖，不挂载自己的条目，无组合面
L2隔离沙箱冒烟—试装未通过（force-failed）
L3运行时健康监控—未抽样（本层是抽样检测：没有会话不等于干净）

评分口径与作者信息

从 100 分开始按规则扣减：fail −20 / major −10 / warn −5 / minor −2；star 数、下载量、LLM 输出都不参与评分

维护者: dmso
仓库: —
许可: MIT
最后发布: 2026-08-14
周下载: 14
star: —

扫描状态：已扫描。能力是事实，不是缺陷；周下载与 star 只作参考，不参与评分。

认证等级只回答四件事：包本身是否完整可解析（L0）、能不能与别的插件组合（L1）、隔离环境里装不装得上并起得来（L2）、抽样运行时有没有异常（L3）。依赖漏洞、仓库存活、下载量都不参与评级，只作为独立信号标注。可信 ≠ 无漏洞，上架 ≠ 推荐。

DSH peer 依赖	2 个`cordisdsh-tools`均为 `@deepseek-ai/` 下的包
第三方依赖	1 个
依赖安全公告	已查询全部依赖，没有匹配到已公开的安全公告（含 DSH 框架包在内的 `@deepseek-ai/*` 不作查询——那是运行时自己的问题，不是插件的。）

返回首页

检测报告

能力清单

这份报告的口径

可信度

认证等级 L1

同分类其他插件