为应用与基础设施设计可落地监控体系时用：覆盖指标、告警…

适用于为应用和基础设施建立可观测性与可靠性监控，涵盖指标采集、告警策略、SLO、仪表盘、健康检查、事故响应和容量规划。

适用场景

解决思路

1. 监控四个黄金信号：延迟、流量、错误和饱和度。
2. 将监控实现为代码，以确保可复现。
3. 围绕用户体验和业务影响设计监控。
4. 使用 SLO（Service Level Objectives）指导告警决策。
5. 在全面覆盖和可执行的洞察之间取得平衡。
6. 监控请求速率（requests per second）。
7. 监控错误率（失败请求的百分比）。
8. 监控响应时间（p50、p90、p95、p99 延迟）。
9. 监控活跃连接数和并发用户数。
10. 监控队列深度和处理时间。
11. 监控 CPU 利用率和负载均值（load average）。
12. 监控内存使用量和可用内存。
13. 监控磁盘 I/O 和可用存储。
14. 监控网络吞吐量和错误率。
15. 监控容器和 Pod 健康状况（适用于 Kubernetes）。
16. 监控交易量和交易金额。
17. 监控用户注册和转化。
18. 监控功能使用率和采用率。
19. 监控影响收入的事件。
20. 监控客户满意度指标。
21. 对症状而不是原因进行告警。
22. 使告警可执行，并包含清晰的补救步骤。
23. 设置适当的严重级别（critical、warning、info）。
24. 通过合理调整阈值避免告警疲劳。
25. 在告警通知中包含 runbook 链接。
26. 为关键用户旅程定义 SLO。
27. 计算错误预算（error budget）和燃烧率（burn rate）。
28. 当错误预算消耗过高时告警。
29. 使用多窗口、多燃烧率告警。
30. 每季度审查并调整 SLO。
31. 基于基线数据设置有意义的阈值。
32. 使用迟滞（hysteresis）防止告警抖动/反复触发。
33. 实现告警依赖以减少噪音。
34. 将告警路由到合适的团队。
35. 配置升级策略（escalation policies）。
36. 创建服务健康状况的总览仪表盘。
37. 构建用于调试的详细仪表盘。
38. 使用一致的布局和命名约定。
39. 包含时间范围选择器和下钻能力。
40. 显著展示 SLO 状态。
41. 显示当前状态和近期趋势。
42. 包含与基线或上一周期的对比。
43. 显示部署标记以便关联。
44. 为重大事件添加注释（annotations）。
45. 包含相关仪表盘和日志的链接。
46. 使用 agent 或 sidecar 进行指标采集。
47. 在动态环境中实现服务发现。
48. 配置合适的抓取间隔（scrape intervals）。
49. 根据用例选择 push 或 pull 模式。
50. 确保指标基数（metric cardinality）可管理。
51. 根据用例设置保留期（retention periods）。
52. 为长期存储实现降采样（downsampling）。
53. 为规模选择适当的存储后端。
54. 为监控数据规划灾难恢复。
55. 监控你的监控基础设施。
56. 实现 liveness 探针以检测崩溃。
57. 使用 readiness 探针进行流量管理。
58. 创建验证依赖项的深度健康检查。
59. 以标准格式暴露健康检查端点。
60. 将健康检查延迟作为指标进行监控。
61. 使用监控数据尽早检测事故。
62. 在调查期间关联 metrics、logs 和 traces。
63. 事故后记录发现并更新监控。
64. 跟踪 MTTR（Mean Time to Recovery）指标。
65. 定期进行监控审查和改进。
66. 跟踪资源利用率趋势。
67. 对接近容量限制设置告警。
68. 使用预测进行主动扩缩容。
69. 记录容量需求和余量（headroom）。
70. 每季度审查容量。