当UI频繁变动导致脚本化E2E测试维护成本过高时…

用自然语言目标驱动浏览器智能体（Playwright MCP）通过无障碍树探索应用并断言结果，替代易碎的脚本化E2E测试。

适用场景

解决思路

1. 先做发现：检查项目根目录的 .agents/qa-project-context.md，跳过其中已回答的栈、环境、种子/重置工具、模型访问等信息；然后确认六件事——(1) 哪个流程及其UI变动频率（快速变动/实验性UI适合意图驱动，稳定的关键路径如登录适合脚本化），(2) 是否有种子化fixture和状态重置方式（没有就先解决这个，否则无法确定性），(3) 能否通过深链接绕过认证直达种子化入口（每次重跑登录是最大的可避免成本），(4) 明确无歧义的成功判据（特定账户文本、/dashboard URL、订单号）以及禁止状态（“无错误”不算判据），(5) 目标是否渲染到canvas/WebGL（无无障碍树则需视觉回退或用ARIA插桩），(6) 固定哪个模型id和预算（便宜步骤用Haiku 4.5/Sonnet 4.6，真正模糊的流程才用Opus 4.8）。
2. 按流程而非按项目决定用意图驱动还是脚本化：稳定高频关键路径（登录、支付）用脚本化+pinned（playwright-automation）；快速变动/实验性UI、难以定位的流程、探索式冒烟用智能体；任何在CI中绝不能假通过的场景要么脚本化，要么智能体+硬判据。
3. 采用无障碍树优先的交互模型：browser_navigate 到种子化入口URL → browser_snapshot 返回无障碍树（每个交互元素含 role、稳定 ref、accessible name，约200-400 token）→ 智能体按 ref 调用 browser_click 或 browser_type → browser_wait_for 等待文本出现/消失（绝不用固定 sleep）→ DOM 变化后重新 browser_snapshot 并据此断言。browser_take_screenshot 仅作人工证据，绝不作为断言输入。
4. 让运行可确定：固定模型id（如 claude-haiku-4-5-20251001，绝不用 latest）；temperature 设为 0；每次运行前种子化fixture并重置数据库；设置 maxSteps 步数预算（如18），超限即失败且绝不自动重试；对快照做显式通过/失败判定；断言基于无障碍树而非截图diff。避免 temperature 0.7/1、retry-until-pass 循环、waitForTimeout 睡眠、基于截图的断言。
5. 把判据（oracle）放在智能体之外，由测试框架而非LLM来判定：成功条件必须全部满足——URL匹配 /dashboard，快照包含特定预期账户名文本（如 "Acme Corp — Jane R."）；同时定义禁止状态——仍停留在 /login 则失败，快照含 role="alert" 且文本为 "invalid credentials" 则失败；由框架输出 {"passed": true|false}，LLM 不参与决定。
6. 控制成本与延迟（智能体比脚本慢2-5倍、更贵，一步就是一次LLM往返）：保持 maxSteps 低且强制执行；模型分层（便宜导航步骤用 Haiku 4.5/Sonnet 4.6，模糊探索才用 Opus 4.8）；对静态系统提示、工具schema、目标做提示缓存；用种子化入口点缩小范围，每次运行只跑一个窄目标并深链接绕过登录；默认用快照而非截图（快照约200-400 token，整页截图数千token）。拒绝“每步都用更大模型”“提高步数上限”“每步都截图”“完全无预算运行”。
7. 毕业与CI门禁：用 Playwright Test Agents（planner/generator/healer，Playwright v1.56.0 起提供）把稳定流程提升为持久脚本化测试，执行 npx playwright init-agents --loop=claude；planner 写 Markdown 测试计划到 specs/<flow>.md，generator 转成 tests/<flow>.spec.ts 并使用基于角色的定位器（getByRole、getByLabel、getByText）对照实时DOM验证，healer 修复失效定位器。CI 门禁要求失败目标以非零退出并输出机器可读判定（result.json 中 {"passed": true|false}），GitHub Actions 解析布尔值并在 false 时 exit 1；状态为种子化/临时且每次运行重置，设步数预算和超时上限；绝不用 continue-on-error: true、绝不 always exit 0、绝不用供人阅读的散文式判定。
8. 处理无无障碍树的 canvas/WebGL：优先用 ARIA 插桩 canvas；作为受限的最后手段，仅对该流程启用 --caps=vision 以解锁 browser_mouse_click_xy；不要把坐标当默认，也不要因此放弃智能体测试。
9. 迁移脆弱脚本时诚实说明权衡：把重打登录、走6个硬编码步骤的80行脚本转成单个自然语言目标+显式成功断言，对变动流程是真实收益，但要说明——存在非确定性/假通过风险（因此硬判据和负向检查不可妥协）、成本/延迟高2-5倍（用步数预算和种子化入口约束）、并非所有测试都该智能体化（稳定路径保持脚本化，并计划稳定后毕业回脚本）。拒绝“绝对更好无缺点”“全部迁移”“为通过而删断言”。
10. 完成标准：目标提示为自然语言意图（不含 page.locator/page.goto/data-testid）并带 START 种子化入口URL；显式成功判据含特定预期文本+URL检查+禁止状态负向检查，且对 browser_snapshot 断言而非截图；运行配置固定模型id、temperature: 0、maxSteps 预算和种子，无 waitForTimeout、无 retry-until-pass；交互快照优先（browser_navigate/browser_snapshot/browser_click/browser_type/browser_wait_for），截图仅作证据；runner 输出 result.json 含 {"passed": true|false} 且 false 时 exit 1，CI 据此门禁合并；CI 每次运行种子化/重置临时状态并强制步数预算和超时上限；记录毕业触发条件（如“绿了两周 → 运行 init-agents，用 getByRole 定位器生成 tests/<flow>.spec.ts”）；若目标为 canvas/WebGL，视觉回退（--caps=vision + browser_mouse_click_xy）仅限该流程，或用 ARIA 插桩 canvas。

适用边界 · 注意事项

• 稳定的高频关键路径（如登录、支付）不要用智能体——应保持脚本化+pinned，因为智能体更慢、更贵、非确定性，且重新探索没有收益。
• 不要用重试或提高 temperature 来修复不稳定——这会增加方差；真正的杠杆是 temperature 0、固定模型、种子化数据、有界步数预算和显式判定。
• 不要把截图/像素坐标/OCR/视觉模型作为默认交互方式——Playwright MCP 是无障碍树优先，像素仅限 canvas 场景的最后手段。