做 ML/AI 实验结果严格统计分析与科学制图时…

当需要验证实验产物、运行严格统计、生成真实科学图并输出可审计分析包时使用。

适用场景

解决思路

1. 产出严格分析包，包含 `analysis-report.md`、`stats-appendix.md`、`figure-catalog.md`、`figures/`。
2. 当用户要求 review、audit、no-write、dry-run 或输入不完整时，改用 read-only audit mode，不产出文件或图；只输出有效/无效统计、blockers、claim candidates、缺失证据；若由 `/analyze-results` 调用，命令层可写 blocker summary，但技能不应从缺失证据创建图、报告或 polished conclusions。
3. 不要用本技能起草论文 `Results` 段或完整实验总结报告；这些属于 `ml-paper-writing` 或 `results-report`。
4. 验证 experiment artifacts 和 comparison units。
5. 运行严格描述性和推断统计。
6. 当数据/日志可用时生成真实科学图。
7. 写图的 purpose、caption requirements、interpretation checklists。
8. 明确暴露 limits、blockers、missing evidence。
9. 不负责 paper-ready `Results` prose、manuscript narrative polishing、paper-ready figure/table packaging with `pubfig` / `pubtab`、project-level experiment retrospectives。
10. 如果用户想要完整 post-experiment summary report，在此包就绪后交给 `results-report`。
11. 如果用户想要 publication-grade figures/tables、export parameters、publication QA、figure/table redesign，交给 `publication-chart-skill`。
12. 优先真实图而不是图规格：如果数据可读，生成真实图，不要停在「recommended visualization」；例外：read-only audit mode 不生成图，描述证据完整后什么图有效。
13. 绝不伪造统计：如果 sample size、seeds 或 raw metrics 缺失，明确说明 blocker。
14. 报告完整统计：不要只报告 best scores 或只报告 p-values。
15. 解释每个主图：每个主要图必须有 purpose、caption requirements、post-figure interpretation notes。
16. 分离证据与 prose：产出分析 artifacts；不写 manuscript sections。
17. 清点和验证 artifacts：识别 metric tables（`csv`、`json`、`tsv`、logs），training curves 和 checkpoints，seeds/重复运行，baselines、ablations、comparison families，evaluation protocol metadata。
18. 验证 metric direction（更高/更低更好），unit of analysis（run、subject、fold、dataset、seed），runs/seeds 数量，missing values 或 silent failures，methods 之间可比性。
19. 如果比较在统计上无效，继续前先说明；不要把重复的 `subject × task` 行、folds、windows、trials 或 seeds 当作独立单位，除非设计能证明。
20. 常见 blocker：`subject × task` 汇总表通常是 repeated-measure summary，不是独立 subject-level sample；如果 subjects 有多个 task 行或缺失 task cells，在任何 significance 或 winner claim 前说明。
21. 锁定比较问题：运行统计前定义 exact comparison questions：哪个方法对比哪个 baseline，primary metric 是什么，repeated-measure unit 是什么，哪些 ablation 或 robustness 问题重要，哪些发现会改变决策。
22. 不要将无关比较混入一个未区分的表。
23. 运行严格统计：始终产出 descriptive statistics：适当时 `mean ± std`，`95% CI` 或其他有明确理由的区间，run/seed counts，significance tests with assumptions stated，effect sizes，当报告多个 contrasts 时做 multiple-comparison handling。
24. 默认先检查参数假设，假设不满足时使用 non-parametric fallback，明确说明测试了什么、在哪些 samples 上测试。
25. 加载 `references/statistical-methods.md` 和 `references/statistical-reporting.md`。
26. 生成真实科学图：只要 artifacts 可用，产出实际图。
27. 非平凡分析包最低期望：一个 main comparison figure，一个 supporting figure（training dynamics / ablation / breakdown / error analysis），一个 markdown 精确数值汇总表。
28. 每个 main figure 必须定义 figure purpose、plotted variables、error bar meaning、caption requirements、interpretation checklist。
29. 加载 `references/visualization-best-practices.md` 和 `references/figure-interpretation.md`。
30. 写 `analysis-report.md`：总结分析问题、关键发现、最强支持的比较、主要 caveats、实验理解中变化了什么、之后可能用于报告或 manuscript writing 的 claim candidates。
31. 每个 claim candidate 使用指定形状：`## Claim Candidates`，以及 `- Claim:`、`Source evidence:`、`Allowed wording:`、`Forbidden stronger wording:`、`Uncertainty:`、`Next check:`、`Decision: keep | weaken | revise | discard`。
32. 写 `stats-appendix.md`：记录 descriptive statistics、test choices、assumptions checked、effect sizes、confidence intervals、multiple comparison corrections、explicit blockers and limitations。
33. 写 `figure-catalog.md`：对每个图记录 filename、purpose、data source、caption draft requirements、key observation、interpretation checklist、known caveats。
34. 最终 QA gate：不满足所有条件不结束：primary comparison question 明确；sample size / seed count 已说明；inferential tests 有理由；major contrasts 报告 effect sizes；data 存在时 real figures 存在；每个图有 interpretation note；limitations 和 blockers 明确；每个 supported 或 strong claim candidate 有 evidence、uncertainty 和 allowed wording；证据不足时明确阻止过强 manuscript wording；不包含 manuscript-style `Results` draft。
35. 输出结构：`analysis-output/` 包含 `analysis-report.md`、`stats-appendix.md`、`figure-catalog.md`、`figures/`，其中 `figures/` 包含 `figure-01-main-comparison.pdf`、`figure-02-ablation.pdf` 等。
36. 图解释规则：对每个 major figure 回答三个问题：为什么这个图存在？读者具体应该注意到什么？该观察如何改变我们的信念或下一步决策？如果图不能回答第 3 个问题，它可能是装饰而非科学。
37. Read-only audit mode 用于：用户要求 audit 或 review 已有 artifacts，环境只读，用户禁止文件写入或图生成，核心证据缺失。
38. Read-only audit mode 返回：analysis questions、valid statistics、invalid 或 unsafe statistics、带 allowed 和 forbidden wording 的 claim candidates、report/figure generation 前的 blockers。
39. Read-only audit mode 不要创建 `analysis-output/`、figures 或 reports。
40. 隔离任何统计文件：其解释与自身 p-value、test method、unit of analysis 或 comparison family 矛盾；在检查 provenance 前不要用该文件做 claim wording。
41. Failure mode policy：输入不完整时明确说明。
42. 示例：no seed-level data -> 仅 descriptive summary；inferential claims blocked。
43. no comparable baseline outputs -> 无 significance claim。
44. no readable logs -> 无法生成 dynamics figure。
45. too few runs -> effect size 可能不稳定；报告此 limitation。
46. unclear unit of analysis -> 无 winner claim 或 significance claim。
47. analysis file with contradictory interpretation -> 在检查 provenance 前 quarantine 它。
48. 绝不用自信 prose 替代缺失证据。
49. 按需加载 reference files：`references/statistical-methods.md`、`references/statistical-reporting.md`、`references/visualization-best-practices.md`、`references/figure-interpretation.md`、`references/analysis-depth.md`、`references/common-pitfalls.md`、`../research-ideation/references/research-contract.md`。
50. 参考 example files：`examples/example-analysis-report.md`、`examples/example-stats-appendix.md`、`examples/example-figure-catalog.md`。

适用边界 · 注意事项

• 不要用于起草论文 `Results` 段或完整实验总结报告；这些属于 `ml-paper-writing` 或 `results-report`。
• 需要出版级图/表打包、导出参数、出版 QA 或图/表重设计时，应交给 `publication-chart-skill`，不要用本技能。
• 用户只要求审计/审查、环境只读、禁止写入或核心证据缺失时，不要生成文件、图或报告；改用 read-only audit mode。