已有假设需要验证产品改动时，设计可执行的 A/B…

在假设已明确后，为验证产品改动或测试假设设计包含变体、成功指标、样本量、周期和风险预案的 A/B 测试或对照实验。

适用场景

解决思路

1. 编写清晰可测试的假设，格式为：We believe [change] for [users] will [outcome] as measured by [metric]。每个实验只检验一个假设；若要测试多个点，拆成多个实验。
2. 定义变体：详细描述 control（当前体验）和 treatment（新体验），必要时附截图、mockup 或精确描述，确保任何人都知道用户会看到什么。
3. 选择主指标和辅助指标：只选 1 个决定成败的 primary metric；增加 2-3 个 secondary metrics 了解更广泛影响；纳入 guardrail metrics 捕捉非预期负面效果。
4. 计算样本量：确定每个变体需要多少用户，以在统计显著下检测 minimum detectable effect（MDE）；明确显著性水平（通常 0.05）和 power（通常 0.80）。
5. 估算持续时间：基于样本量和可用流量计算实验需运行多久；考虑周内模式，避免在周中结束（若行为按天变化）。
6. 定义定向与分流：指定哪些用户有资格进入实验、流量如何在变体间拆分；记录排除项（如员工、特定分群）。
7. 设定成功标准：事先定义什么算 win、loss、inconclusive，防止事后合理化或移动目标线。
8. 记录风险与缓解措施：识别可能出错的地方以及如何检测/处理；包含监控计划和 rollback criteria。
9. 使用 references/TEMPLATE.md 中的模板组织输出；完整设计应填满每个模板部分：Overview；Hypothesis；Background；Variants；Metrics；Sample Size & Duration；Audience Targeting；Success Criteria；Risks & Mitigations；Implementation Notes；References。
10. 定稿前验证假设可证伪且具体。
11. 定稿前验证只定义了一个 primary metric。
12. 定稿前验证样本量计算连同假设条件已记录。
13. 定稿前验证持续时间兼顾流量模式和统计要求。
14. 定稿前验证成功标准在实验开始前已定义。
15. 定稿前验证 guardrail metrics 能防止非预期伤害。
16. 可参考 references/EXAMPLE.md 中的完整示例。

适用边界 · 注意事项

• 假设本身尚未表达清楚：先用 define-hypothesis，本技能只为已有主张设计测试。
• 正在分析已完成的实验：使用 measure-experiment-results。
• 需要为实验度量的事件埋点：使用 measure-instrumentation-spec；若只是收集意见而非受控测试，使用 measure-survey-analysis。