设计邮件A/B、多变量、发送时间或留出组实验并做显著性判定时…

为邮件营销实验设计可证伪假设、单变量矩阵、样本量与显著性读法，并依据预设规则决定是否执行动作。

适用场景

解决思路

1. 先选定模式：a-b、multivariate、send-time 或 hold-out，并复述所选模式；再区分是设计新实验还是读取已完成实验。若既无基线+提升目标也无结果导出，停止并返回 NEEDS_INPUT 指明缺失输入。
2. 写出可证伪假设：因为[观察]，我们相信[单一改动]会让[主指标]在[某人群]上提升[X 点/X%]；当[指标]越过设计阈值时即可判定。每个假设只含一个改动；send-time 的单一改动是发送小时/日期，hold-out 的单一改动是是否发送本身。
3. 构建变体矩阵并做不可变绑定：在测量契约中记录人群定义版本、每个单元格一个创意/HTML 哈希、发件人、计划同窗口排期。任何绑定输入被修改即产生新契约版本；本技能只设计或读取实验，绝不授权发送。
4. a-b 模式：只改一个变量（主题或 preheader 或 CTA 或创意），两个单元格加一个对照。绝不在一个单元格里改两件事，赢家必须能归因到单一变量。
5. multivariate 模式：交叉 2 个以上因子，每个单元格只保留一个不同变量，且仅在列表大到足以给每个单元格提供足够样本时使用（如 2×2 主题×CTA 是 4 个单元格，每个都需完整样本）。若功效不足，按第 6 步降级为 a-b。
6. send-time 模式：隔离变量是发送小时/日期，主题、人群、创意保持不变。随机拆分人群，各臂在指定时间发送，比较同窗口互动；不要与内容改动混淆。覆盖完整的工作日/周末周期，避免把时段与星期几混淆。
7. hold-out 模式：随机划出一组对照，什么都不发（或维持当前默认），样本量要能检测业务指标（转化/每收件人收入）的增量效应，而不只是打开率。留出组衡量发送的增量提升，因此要按转化基线而非打开基线计算功效。
8. 每个设计都保留一个对照组。
9. 指定指标：主指标与模式和目标绑定（主题测试看打开，CTA/创意测试看点击/CTOR，send-time 看同窗口互动，hold-out 看转化或每收件人收入）；次要指标用于背景参考；护栏指标不得恶化（退订率、垃圾投诉率、硬退信）。主题行赢家若提升打开但退订飙升，属于护栏违规而非胜利。
10. 从基线计算样本量、MDE、时长、功效：预先确定 alpha、power、MDE、比较次数、读取日期及任何序贯规则。用户提供策略时用其策略，否则披露 alpha=.05 与 power=.80 为常规假设。使用 experiment.py samplesize；下表仅为 .05/.80 双侧参考：基线 5%（点击）时 ±1pt 约 7,800、±2pt 约 2,100、±3pt 约 1,000、±5pt 约 400；基线 20%（CTOR）时约 25,000/6,400/2,900/1,100；基线 40%（打开）时约 37,700/9,500/4,300/1,600。
11. 计算时长 =（每单元格收件人数 × 单元格数）÷（每日可发送收件人数），下限为一个完整发送周期（生命周期流程至少 1–2 周，send-time 测试至少覆盖完整工作日/周末周期以覆盖星期几构成）。声明不偷看规则：在设计时固定样本与读取日期，不要提前宣布赢家。若用户给的是相对提升（如 2% 点击基线上提升 15%），先换算为绝对 MDE（0.3pt）再查表。multivariate 要把每单元格样本乘以单元格数；hold-out 按转化基线计算（通常比率低得多，样本更大）。
12. 列表规模现实检查——小列表需要更大 MDE 或更长周期。若列表无法提供表格要求的每单元格收件人数，明确说明并按以下顺序给出选项：放宽 MDE（此列表只能检测更大效应，4,000 收件人列表上 1 个点的主题行微调无法测量，应测试更激进的改动）；延长运行/合并发送（跨同一测试的多次发送累积样本）；减少单元格（把 multivariate 降级为单个 a-b）；接受更低功效/不测试（若即使最宽的合理 MDE 也功效不足，建议凭判断直接发送更强创意，而不是跑一个会把噪声读成信号的欠功效测试）。
13. 显著性读取（无密钥计算或书面数学）：对打开/点击/CTOR/转化率比较用两比例 z 检验（报告 z、p 和观测提升），这是 a-b、multivariate 单元格对对照、send-time 臂比较的默认方法；对非正态连续指标（hold-out 的每收件人收入、落地页停留时间）用 Mann-Whitney U；当提升的置信区间比裸 p 值更有用时用 Bootstrap 置信区间；multivariate 多个单元格对同一对照时，注意多重比较膨胀，在宣布任何单元格为赢家前应用 Bonferroni 式调整（α ÷ 比较次数）。
14. 将结果与声明的 alpha 和预先确定的实际效应边界分别比较。优先用 experiment.py；若不可用，展示相同输入与公式。对多单元格调整 alpha 或使用声明的族错误率程序，不要把计划外的提前查看当作终局读取。
15. 绑定读取结果并应用决策归属：计算前把每个臂匹配到其发送回执、人群定义版本和变体哈希。部分回执只使用其有证据的已接受/已送达范围，被拒绝/延迟的行保持未决；没有匹配回执的结果导出标记为 User-provided 且 binding_status: incomplete，绝不静默当作计划中的测试。先报告方向、效应/区间、统计标志、实际标志、样本完成度和每个护栏。指明决策负责人和预设规则。仅当两者都存在时应用该规则；否则输出 decision: UNDECIDED。
16. 标注来源：导出计数和基线为 User-provided（仅在按仓库约定直接埋点时为 Measured）；p 值、区间、功效和效应为 Calculated；假设和查表为 Estimated。参考 measurement-protocol.md 和 send-benchmark.md。
17. 交付后询问“是否保存此测试设计/读取结果以供未来会话使用？”若同意，将带日期的摘要写入 memory/email/send-experiment-designer/YYYY-MM-DD-<topic>.md，包含模式/画像、假设、设计参数、效应/不确定性读取、护栏、决策负责人/规则及任何已批准动作。未经询问不要写记忆。

适用边界 · 注意事项

• 不适用于计算画像加权的 EQS 或执行 S1/S2/N1/D1 否决（由 email-quality-auditor 负责）。
• 不适用于撰写被测的主题/preheader/正文/CTA（由 email-creative-builder 负责）。
• 缺少预设动作规则和负责人时不要执行动作，应返回 decision: UNDECIDED。