Momentic 测试失败结果分类与根因定位（用 MCP…

当需要判断 Momentic 端到端测试运行为何失败、归类失败原因或与历史运行对比时，用 MCP 工具按步骤回溯定位最早出错点并给出分类。

适用场景

解决思路

1. 先用 momentic_get_run 获取当前运行元数据与结果摘要，确定失败的 attempt、所在区段（beforeSteps、主步骤或 afterSteps）、失败步骤及其 parentStepIdChain；若初始上下文已提供该运行详情则不要重复调用，除非需要查看不同 attempt。
2. 用 momentic_get_step_result 拉取失败步骤的结果、完整步骤 trace 和前后截图；若步骤是嵌套的，同时拉取最近的父容器或模块结果；仅在需要时传 includeTrace=true，因为 trace 可能非常大。
3. 判断失败步骤的 before 截图是否是该动作的正确基线；如果它本身已经错误，就沿当前运行向前回溯，找到产生该错误状态的步骤或容器。
4. 对于重复模块或重复工作流，先比较同一次当前运行内的多次调用，再比较更早的运行；后面的失败往往由更早一次成功、恢复或留下无效后置条件的调用引起。
5. 把子步骤失败或已恢复的成功容器视为部分失败，直到检查该容器的最终 after 截图和 URL 为止。
6. 只有在当前运行行为已理解后，才用历史运行回答具体对比问题；用 momentic_list_runs 找运行，存在 gitBranchName 时始终传入以对齐同一版本测试，需要其他分支时省略，查看已恢复运行传 recovered=true。
7. 对历史运行先用 momentic_list_runs 选定目标，再用 momentic_get_run 取详情，再用 momentic_get_step_result 取同一或最接近的步骤/容器的截图，不要只依赖摘要。
8. 用 momentic_get_test_steps_for_run 获取运行记录的简化步骤（stepsSnapshot、beforeStepsSnapshot、afterStepsSnapshot），以理解测试意图或判断测试本身是否在运行间发生变化。
9. 分类前必须能回答：测试意图是什么、最早分歧的步骤/容器是哪个、该步骤想做什么、实际交互或观察到了哪个元素/状态、步骤后截图/URL/DOM/trace/恢复日志发生了什么变化、后续失败为何是该早期分歧的后果。
10. 避免笼统根因（如“setup 不可靠”“页面状态错误”），要直接点名被破坏的后置条件，例如“点击了行级加号按钮，但应用停留在父页面而未打开子页面编辑器，随后的全局 Add to 断言匹配到了无关页面文本，导致无目标的 type 步骤从未进入子标题”。
11. 以截图作为页面状态的默认真相来源，用 trace 字段和 DOM/HTML 解释截图为何变化或未变化；每条因果断言都要验证，没有相关前后截图、URL 或 DOM 证明就不要声称存在遮罩、侧栏、弹窗或菜单。
12. 区分“目标现在缺失”与“浏览器处于该目标本应存在的状态”；目标缺失往往是更早动作失败的征兆。
13. 对 click/type/action 步骤，记录预期动作、实际交互元素（若可得）、前后 URL，以及预期 UI 状态是否出现。
14. 对断言，检查其作用域是否足以证明预期状态；宽泛的页面内容断言可能因无关文本而通过。
15. 对恢复（recovery），同时检查失败的子步骤和已恢复容器的最终状态；恢复可能让重试断言通过，却留下后续步骤不期望的状态。
16. 排查 locator 缓存问题时，仅在怀疑缓存错误或 Momentic 执行数据不正确时请求 includeTrace=true，查看步骤结果 trace 中的 cacheBustReason 和 cache 属性；若缓存目标错误，用该错误缓存上 targetUpdateLoggerTags 的 runId 调用 momentic_get_run，找到最初更新缓存的运行。
17. 注意模块缓存：缓存模块在缓存键和解析输入不变时会跳过执行并复用上次最后一步的返回值；认证模块还可能从模块缓存恢复 cookies、localStorage、IndexedDB，并用页面内容检查判断缓存是否仍有效。
18. 注意文件上传步骤会为下一次原生文件选择器准备一个文件，因此必须在打开选择器的动作之前运行；来源可以是远程 URL、指向早前下载的 file:// 引用、CLI 本地路径或用户上传文件，并可覆盖展示的文件名。
19. 处理多 attempt 运行：当 momentic_list_runs 显示某次通过运行 attempts > 1 时，视为值得调查的部分失败，用 attemptNumber 参数取回更早失败 attempt 的结果，理解重试成功前出了什么问题。
20. 判断 flakiness 时，必须确认是同一应用和测试行为在间歇性失败；一次失败不等于 flaky，可能是应用变更；要通过截图和其他运行数据判断运行之间是否有应用或测试变更，不能未经验证就假设 flaky。
21. 注意测试时序性：历史结果未必匹配今天的测试文件，测试可能已变；可用 get_test_steps_for_run 判断测试是否变化，若怀疑具体步骤细节变化，用 momentic_get_step_result 的完整步骤详情，仅在字段和截图仍不足时才请求 includeTrace=true。
22. 识别常见失败模式：setup 模块看似通过却留下错误页面/遮罩/筛选/搜索/选中行/侧栏；点击报告成功且目标正确但应用未进入预期状态；宽泛全局断言因无关文本通过；无目标 type 步骤在前置动作未聚焦时静默输入到无用位置；locator 或缓存技术上有效但语义错误；已恢复步骤掩盖首次失败；超时不要自动归为 INFRA，先排除数据缺失、页面状态错误、应用流程变化、locator/断言错误和 setup 失败。
23. 判断相关与无关问题：用测试名称、描述和简化步骤确定测试意图，意图之外的失败视为无关；setup（beforeSteps/beforeResults）或 teardown（afterSteps/afterResults）中的失败基本都算无关；相关/无关只适用于 bug 和 change，INFRA 无论出现在 setup 还是主区段都仍是 INFRA。
24. 区分 bug 与 change：bug 是明显不该出错的地方出错（如出现错误信息），看一两个步骤就能看出；change 是能通过截图证明的应用行为明确变化。
25. 为失败确定可恢复性：RECOVERABLE（可通过更新测试本身永久修复，如应用变更需更新测试、可改写为稳定通过的模糊 locator 或断言）、ONE_TIME_RECOVERABLE（仅本次运行可恢复且不持久化测试变更，如可关闭的随机弹窗、等待或重试可能成功的临时延迟）、NON_RECOVERABLE（无法自动处理需人工介入，如缺少凭据、缺少上传所需本地文件、第三方系统导致的中断）。
26. 最终分类只给一个类别 id，不新增标签、不多标签，并基于数据；用可读引用而非 UUID 指代步骤/模块（如 module create-subpage-under-parent-page、某模块最后一次调用、substep 4 (0-indexed)、失败的 setup 断言），工具调用仍需精确 ID；引用历史运行时用可点击的 Momentic URL（https://app.momentic.ai/runs/<runId>）且不缩短 UUID；推理必须包含最早分歧的步骤/容器及其破坏的后置条件，而不只是最终失败步骤。
27. 用 momentic_submit_result_classification 持久化最终分类，传 runId 及正式输出字段；仅在调查完成、准备记录最终分类时调用。
28. 正式输出格式：Reasoning（结合最早分歧、截图/trace、所用历史运行和测试意图的几句话）、Category（列表中的一个 id）、Recoverable（RECOVERABLE | ONE_TIME_RECOVERABLE | NON_RECOVERABLE）、Confidence（high 有直接证据如标签变化或崩溃的清晰截图；medium 多个信号强推断但无单一决定性截图或数据点；low 证据模糊、需大量推断或根因不明）。
29. 类别 id 逐字使用：NO_FAILURE（无失败，所有 attempt 通过）、APPLICATION_CHANGE（应用流程或 UI 变化导致测试过时，更新测试可永久修复）、BUG（应用明显出错，如出现错误信息或预期内容未渲染）、TEST_AUTHORSHIP（可永久更新测试防止失败且仍验证原意图，并能给出具体作者性修改建议，如增改步骤、改写模糊断言、让 locator 描述更具体；若给不出具体修改则选其他类别；超时、慢加载及任何建议“等更久”或增大超时的失败不算作者性问题，属于 INFRA）、TEST_SETUP（缺少运行测试所需数据或文件，修复需测试之外的用户操作，如缺少上传文件、缺少或错误凭据）、INFRA（与应用及应用代码无关，由基础设施中断、长加载时间或其他外部因素导致，如浏览器崩溃、高资源占用、限流、等待慢但最终可达状态的步骤或断言超时）、MOMENTIC_ISSUE（测试执行或 Momentic 数据出错，如缓存错误、全局 locator 重定向异常、AI 幻觉；例如查看运行 trace 时出现意外行为、AI 明显误读或幻觉了截图中明确无歧义的数据且无合理测试替代方案）、OTHER（不符合其他类别）。

适用边界 · 注意事项

• 没有 Momentic MCP 工具或无法访问 Momentic 运行结果数据时无法使用。
• 仅凭 momentic_get_run 或 momentic_list_runs 的摘要就下结论，而不查看具体步骤结果和截图。
• 在未验证应用或测试是否发生变化的情况下就断言测试 flaky 或间歇性失败。