PangYiMing / dsh-batch-regression

dsh-batch-regression

DeepSeek Harness 插件 · 批量回归 / DSH plugin for batch regression stats

"数据忽高忽低，到底信哪个"——对同一命令跑 N 轮取中位数和分布，用统计而不是单次结果下结论。

"Numbers keep jumping — which one do I trust?" Run the same command N rounds and judge by median/distribution instead of a single result.

真实方法论 Methodology（实测沉淀）

结论	说明
取中位数，不是平均	平均会被极值拉偏；中位数更稳
至少 5 轮	少于 5 轮的统计没意义
差距 > 20% 结论才稳	改前/改后对比，差距 >20% 才下结论
控制变量	同一台机器、同一时段、关掉浏览器/IDE 等大头进程
承认抖动来源	Apple Silicon P/E 核动态调度会让单次耗时翻倍；笔记本连续跑十几分钟会热降频

重要教训：cpulimit/nice/taskpolicy 在 Apple Silicon 上实测全失效——消抖靠"多轮取中位数 + 控制变量"，不靠限制 CPU。

使用 Usage

ROUNDS=5 METRIC=time ./scripts/runner.sh "node bench.js"
# samples=5  median=1234ms  (min=1102ms max=1987ms)

ROUNDS=10 METRIC=success ./scripts/runner.sh "npm run build"
# PASS=9/10

什么时候用 / 不用

场景	用
性能数据抖动，取可信中位数	✅ 本工具
改前/改后对比耗时分布	✅ 本工具
偶现问题看复现率	✅ 本工具（METRIC=success）
单次就能判定的事	❌ 直接跑
定位"哪次提交引入退化"	❌ 用 git bisect（见 dsh-bisect-debug）
UI 视觉回归	❌ 用 dsh-screenshot-diff

执行纪律

1. 取中位数不是平均。
2. 至少 5 轮。
3. 控制变量：同一台机器、同一时段、关掉大头进程。
4. 承认局限：本地耗时受 P/E 核调度和热降频影响，结论用"差距>20%才稳"标注置信度。
5. 中间失败不中断：某轮 fail 记 FAIL 继续，不因单轮失败停。

安装 Install

# 发布到 npm 后
dsh plugin --profile demo add dsh-batch-regression

# 或从 GitHub 安装
dsh plugin --profile demo add github:PangYiMing/dsh-batch-regression

许可证 License

MIT