实验或A/B测试结束后如何撰写结果报告以沉淀组织知识

在实验或A/B测试结束后，用统计分析和分群洞察记录结果、提炼学习并给出明确的推进建议。

适用场景

解决思路

1. 总结实验背景：说明测试了什么、运行时间、获得多少流量，并链接到原始实验设计文档（如有）。
2. 重述假设：提醒读者当初预期会发生什么以及原因，为结果解读提供框架。
3. 呈现主要结果：清晰展示主要指标在对照组和实验组的值，包含统计显著性（p-value）、置信区间和样本量，并诚实说明结果是否具有结论性。
4. 分析次要指标：呈现用于确保未造成意外伤害的护栏指标（guardrail metrics），并记录任何意外变化的次要指标，包括正向和负向的。
5. 分群分析数据：按用户分群（平台、使用时长、套餐类型等）寻找差异化效应，因为整体结果有时会掩盖重要的分群洞察。
6. 提炼学习：总结数字之外学到了什么，包括意外发现、引发的问题以及对产品假设的启示；负面结果同样是有价值的学习。
7. 给出建议：明确应该上线、迭代还是终止，并用证据支撑建议；如果决策存在细微权衡，需解释取舍。
8. 定义下一步：说明接下来会发生什么，例如需要工程工作来上线、后续实验、需要持续监控的指标或需要更新的文档。
9. 使用 references/TEMPLATE.md 中的模板组织输出，完整报告需填写所有模板章节：Summary、Hypothesis Recap、Results、Segment Analysis、Visualization、Learnings、Recommendation、Next Steps 和 Appendix。
10. 定稿前检查质量清单：统计方法和显著性是否清晰说明；是否包含置信区间（而不仅是 p-value）；是否检查了分群差异化效应；是否报告了次要/护栏指标；学习是否超越数字本身；建议是否清晰可执行；负面或不确定结果是否被诚实报告。

适用边界 · 注意事项

• 实验尚未设计或运行——应使用 measure-experiment-design。
• 结果需要做方向性决策——应使用 iterate-pivot-decision；本技能只报告证据，由后者做决定。
• 数据是问卷回答而非受控实验——应使用 measure-survey-analysis。