系统化交易策略回测与稳健性验证：在开发或验证量化策略时…

用于开发、测试、压力测试或验证系统化/量化交易策略，判断其是否稳健、可部署且非过拟合。

适用场景

解决思路

1. 明确目标：寻找“最不容易失效”的策略，而不是纸面上“收益最高”的策略；加入摩擦、压力测试假设，看什么能存活；若在悲观条件下仍成立，更可能在实盘有效。
2. 用一句话陈述假设/优势（edge），例如“股票因盈利跳空高开 >3% 并在第一小时内回撤到前一日收盘价，提供均值回归机会”；如果无法清晰表述优势，就不要进入测试。
3. 将规则编码为零主观判断：明确入场（精确条件、时机、价格类型）。
4. 明确出场：止损、止盈、基于时间的出场。
5. 明确仓位规模：固定金额、组合百分比、按波动率调整。
6. 明确过滤器：市值、成交量、行业、波动率条件。
7. 明确标的池：哪些工具有资格。
8. 关键：不允许主观判断；每个决策必须基于规则且无歧义。
9. 运行初始回测：至少覆盖 5 年（最好 10+ 年）。
10. 覆盖多个市场状态：牛市、熊市、高/低波动。
11. 使用现实成本：佣金 + 保守滑点。
12. 检查初始结果的基本可行性；若根本不可行，迭代假设。
13. 将 80% 测试时间用于压力测试。
14. 参数敏感性：止损按基线的 50%、75%、100%、125%、150% 测试。
15. 参数敏感性：止盈按基线的 80%、90%、100%、110%、120% 测试。
16. 参数敏感性：入场/出场时间前后变动 ±15–30 分钟。
17. 参数敏感性：寻找稳定表现的“平台区”，而不是狭窄尖峰。
18. 执行摩擦：将滑点提高到典型估计的 1.5–2 倍。
19. 执行摩擦：建模最差成交（买在 ask+1 tick，卖在 bid-1 tick）。
20. 执行摩擦：加入现实的订单拒绝场景。
21. 执行摩擦：用悲观佣金结构测试。
22. 时间稳健性：分析逐年表现。
23. 时间稳健性：要求大多数年份为正期望。
24. 时间稳健性：确保策略不依赖 1–2 个异常优异时期。
25. 时间稳健性：分别在不同市场状态下测试。
26. 样本量：绝对最低 30 笔交易。
27. 样本量：优先 100+ 笔。
28. 样本量：高置信度 200+ 笔。
29. 样本外验证：walk-forward analysis：在训练期（例如 Year 1-3）优化。
30. 样本外验证：在验证期（例如 Year 4）测试。
31. 样本外验证：向前滚动并重复。
32. 样本外验证：比较样本内与样本外表现。
33. 样本外警告信号：样本外表现 < 样本内的 50%。
34. 样本外警告信号：需要频繁重新优化参数。
35. 样本外警告信号：参数在不同时期剧烈变化。
36. 评估结果时回答：优势是否在悲观假设下存活？
37. 评估结果时回答：表现是否在参数变化下稳定？
38. 评估结果时回答：策略是否在多个市场状态中有效？
39. 评估结果时回答：样本量是否足以提供统计置信度？
40. 评估结果时回答：结果是否现实，而非“好得不真实”？
41. 决策标准：✅ Deploy：通过所有压力测试且表现可接受。
42. 决策标准：🔄 Refine：核心逻辑合理但需要调整参数。
43. 决策标准：❌ Abandon：未通过压力测试或依赖脆弱假设。
44. 使用评估脚本进行结构化定量评估：`python3 skills/backtest-expert/scripts/evaluate_backtest.py --total-trades 150 --win-rate 62 --avg-win-pct 1.8 --avg-loss-pct 1.2 --max-drawdown-pct 15 --years-tested 8 --num-parameters 3 --slippage-tested --output-dir reports/`。
45. 脚本对 5 个维度（Sample Size、Expectancy、Risk Management、Robustness、Execution Realism）评分，检测红旗，并输出 Deploy/Refine/Abandon 结论。
46. 惩罚策略：在所有地方加入摩擦——佣金高于现实。
47. 惩罚策略：滑点设为典型值的 1.5–2 倍。
48. 惩罚策略：使用最差成交。
49. 惩罚策略：加入订单拒绝。
50. 惩罚策略：加入部分成交。
51. 理由：能承受悲观假设的策略往往在实盘表现更好。
52. 寻找平台区而非峰值：寻找表现稳定的参数范围，而不是产生表现尖峰的最优值。
53. 好例子：止损在 1.5%–3.0% 之间任意位置策略都盈利。
54. 坏例子：策略只在止损恰好 2.13% 时有效。
55. 稳定表现说明真实优势；狭窄最优值暗示曲线拟合。
56. 测试所有案例，而非挑选案例：错误做法是研究精心挑选的“市场领导者”成功案例。
57. 正确做法是测试所有符合标准的股票，包括失败的。
58. 选择性案例会造成幸存者偏差并高估策略质量。
59. 分离想法生成与验证：直觉用于生成假设。
60. 验证必须完全数据驱动。
61. 绝不让对想法的执着影响对测试结果的解读。
62. 早期识别常见失败模式：参数敏感性：只在精确参数值下有效。
63. 早期识别常见失败模式：市场状态特定：某些年份很好，其他年份很糟。
64. 早期识别常见失败模式：滑点敏感：加入现实成本后无利可图。
65. 早期识别常见失败模式：小样本：交易太少，无法统计置信。
66. 早期识别常见失败模式：前视偏差：“好得不真实”的结果。
67. 早期识别常见失败模式：过度优化：参数很多，样本外结果差。
68. 查看 `references/failed_tests.md` 获取详细示例和诊断框架。
69. 输出 `reports/backtest_eval_<timestamp>.json`：结构化评估，含各维度分数、红旗和结论。
70. 输出 `reports/backtest_eval_<timestamp>.md`：人类可读报告，含维度表、关键指标和红旗详情。
71. 需要特定测试技术详细指导时阅读 `references/methodology.md`；内容包括压力测试方法、参数敏感性分析、滑点和摩擦建模、样本量要求、市场状态分类、常见偏差和陷阱（幸存者、前视、曲线拟合等）。
72. 当策略失败测试或需要从过去错误中学习时阅读 `references/failed_tests.md`；内容包括失败为何有价值、常见失败模式示例、案例研究记录框架、评估回测的红旗清单。
73. 时间分配：20% 生成想法，80% 尝试打破它们。
74. 无上下文要求：如果策略需要“完美上下文”才能工作，它对系统化交易来说不够稳健。
75. 红旗：如果回测结果看起来太好（>90% 胜率、极小回撤、完美时机），仔细审计前视偏差或数据问题。
76. 工具限制：理解回测平台的怪癖（插值方法、低流动性处理、数据对齐问题）。
77. 统计显著性：小优势需要大样本量才能证明；每笔交易 5% 优势需要 100+ 笔交易才能与运气区分。
78. 区分自主裁量 vs 系统化：本技能聚焦系统化/量化回测，所有规则提前编码，执行无裁量或“感觉”，在所有历史示例上测试而非挑选案例，刻意剥离上下文（新闻、宏观）；自主裁量交易者研究方法不同，本技能可能不适用于需要主观判断的 setup。

适用边界 · 注意事项

• 不适用于需要主观判断、裁量或“感觉”的自主裁量交易 setup。
• 不适用于无法用一句话清晰陈述优势、或无法编码为无歧义规则的想法。
• 不适用于必须依赖“完美上下文”（如新闻、宏观、主观判断）才能成立的策略。