评估 A/B 测试结果时，用统计显著性…

在拿到 A/B 测试数据后，判断结果是否显著、是否可信，并转化为上线、继续测试或停止的产品决策。

适用场景

解决思路

1. 针对 $ARGUMENTS 分析 A/B 测试结果。
2. 如果用户提供数据文件（CSV、Excel 或分析平台导出文件），直接读取并分析；需要时生成 Python 脚本来执行统计计算。
3. 理解实验：明确假设是什么。
4. 理解实验：明确改动或变体是什么。
5. 理解实验：明确主要指标是什么，以及有哪些护栏指标（guardrail metrics）。
6. 理解实验：明确测试运行了多久。
7. 理解实验：明确流量拆分比例。
8. 验证测试设置：检查样本量是否足以检测预期效应大小。
9. 验证测试设置：使用公式 n = (Z²α/2 × 2 × p × (1-p)) / MDE² 计算所需样本量。
10. 验证测试设置：如果功效低于 80%（<80% power），标记测试为功效不足。
11. 验证测试设置：检查测试是否至少运行 1-2 个完整业务周期。
12. 验证测试设置：检查随机化，寻找样本比例不匹配（sample ratio mismatch，SRM）证据。
13. 验证测试设置：检查新奇效应/首因效应（novelty/primacy effects），确认是否有足够时间洗掉初始行为变化。
14. 计算统计显著性：计算对照组和变体的转化率。
15. 计算统计显著性：计算相对提升：(variant - control) / control × 100。
16. 计算统计显著性：计算 p-value，使用双尾 z 检验或卡方检验。
17. 计算统计显著性：计算差异的 95% 置信区间（95% CI）。
18. 计算统计显著性：判断统计显著性，即是否 p < 0.05。
19. 计算统计显著性：判断实际业务显著性，即提升对业务是否有意义。
20. 计算统计显著性：如果用户提供原始数据，生成并运行 Python 脚本来计算这些指标。
21. 检查护栏指标：检查任何护栏指标（收入、参与度、页面加载时间）是否下降。
22. 检查护栏指标：主要指标获胜但护栏指标下降，可能不是真正获胜。
23. 解释结果：显著正向提升且无护栏问题 -> 发布：全量发布到 100%。
24. 解释结果：显著正向提升但有护栏问题 -> 调查：先理解权衡再发布。
25. 解释结果：不显著但有正向趋势 -> 延长测试：需要更多数据或更大效应。
26. 解释结果：不显著且持平 -> 停止测试：未检测到有意义的差异。
27. 解释结果：显著负向提升 -> 不发布：回退到对照组，并分析原因。
28. 提供分析摘要，使用以下模板： ## A/B 测试结果：[测试名称] **假设**：[我们预期什么] **时长**：[X 天] | **样本**：[N 对照组 / M 变体组] | 指标 | 对照组 | 变体组 | 提升 | p-value | 是否显著？ | |---|---|---|---|---|---| | [主要指标] | X% | Y% | +Z% | 0.0X | 是/否 | | [护栏指标] | ... | ... | ... | ... | ... | **建议**：[发布 / 延长测试 / 停止测试 / 调查] **理由**：[为什么] **下一步**：[接下来做什么]
29. 逐步思考。保存为 markdown。如果提供原始数据，生成 Python 脚本用于计算。

适用边界 · 注意事项

• 不适用于没有随机分组/对照组的观察性数据或只有前后对比的数据，因为无法做有效因果推断。
• 不适用于没有预先定义假设、主要指标/护栏指标，或无法获得分组样本量与指标原始数据的场景。
• 不适用于样本量不足、运行时间不足、存在 SRM 或新奇/首因效应未消退的结果；此时应先补数据或修正测试，而不是直接给出发布/停止结论。