dsh-agent-eval
v0.1.0
模型与账号
以 shell 执行命令可执行外部程序写入文件
DSH 插件：Agent 能力评估框架 — 定义任务、跑 benchmark、评分、跟踪改进。
作者原文（英文）
DSH plugin: evaluate agent performance on defined tasks — run benchmarks, score outcomes, track improvement over prompt/model changes.
中文简介由 DeepSeek 模型翻译，仅供参考。
dsh-plugindeepseek-harnessevalbenchmarkagent-evaluationscoring
检测报告
关注度高。命中了不少能力模式，其中可能有需要留意的。逐条看下面的清单。
2高关注1需留意1一般20未命中
高关注需留意一般
能力清单
- 以 shell 执行命令
shell-exec高关注2 处命中lib/runner.js:19output = execSync(`dsh --profile headless "${task.prompt.replace(/"/g, '\\"')}"`, {lib/runner.js:78execSync(expected.command, { cwd: workspace, encoding: 'utf-8', timeout: 30000, stdio: ['ignore', 'pipe', 'pipe'] });- 看命令字符串是拼出来的还是写死的。拼接用户输入才是真正的风险。
- 可执行外部程序
spawns-processes高关注1 处命中lib/runner.js:11import { execSync } from 'node:child_process';- 看它调用哪些程序。调用本机已有的工具是常见做法。
- 写入文件
writes-files需留意3 处命中lib/index.js:58await mkdir(workspace, { recursive: true });lib/index.js:77await mkdir(outDir, { recursive: true });lib/index.js:79await writeFile(outFile, JSON.stringify(suite, null, 2));- 看写入位置。写自己的配置目录是正常的，写系统目录不是。
- 读取文件
reads-files一般4 处命中lib/index.js:47tasks = JSON.parse(await readFile(suitePath, 'utf-8'));lib/index.js:115readFile(resolve(args.baseline), 'utf-8').then(JSON.parse),lib/index.js:116readFile(resolve(args.current), 'utf-8').then(JSON.parse),lib/runner.js:62const content = await readFile(path, 'utf-8');- 读文件是绝大多数插件的正常工作方式，本身不构成顾虑。
逐条扫描明细
| 能力 | 标识 | 关注度 | 命中次数 |
|---|---|---|---|
| 以 shell 执行命令 | shell-exec | 高关注 | 2 |
| 可执行外部程序 | spawns-processes | 高关注 | 1 |
| 写入文件 | writes-files | 需留意 | 3 |
| 读取文件 | reads-files | 一般 | 4 |
这份报告的口径
扫描读的是包里的源码，全程不执行第三方代码。 本次读了 13 个文件，扫描于 2026-10-14。 命中次数只说明源码里出现过这类调用，不说明行为好坏——一个插件读写文件 500 次和 1 次 都会被记为「读取文件」。这是能力清单，不是信任评分，也不是安全结论： 没扫出来的能力可能只是写法没被规则覆盖。
依赖安全公告
已查询这个插件声明的全部依赖，没有匹配到已公开的安全公告。（含 DSH 框架包在内的 @deepseek-ai/* 不作查询——那是运行时自己的问题，不是插件的。）