开发、训练和优化神经网络时：系统化落地架构设计、训练策略…

适用于需要从网络设计、训练调优到多 GPU/显存优化和实验复现的深度学习项目。

适用场景

解决思路

1. 设计网络时明确架构目标（如精度、延迟、参数量、部署约束），并据此做取舍。
2. 实现正确的训练流水线，包括数据加载、前向/反向传播、验证和检查点保存。
3. 同时优化模型精度与效率（计算量、显存、推理延迟/吞吐）。
4. 遵循可复现性最佳实践，如记录环境、配置和随机性来源。
5. 根据任务选择合适的层类型（如卷积、循环、注意力、全连接等）。
6. 实现合适的归一化，如 BatchNorm、LayerNorm。
7. 恰当使用激活函数，并根据任务选择 ReLU、GELU、SiLU 等。
8. 在有益时设计跳跃连接（skip connections）。
9. 从简单模型开始，按需逐步增加复杂度。
10. 使用模块化、可复用的组件构建模型。
11. 实现正确的参数初始化。
12. 考虑计算约束（显存、FLOPs、延迟、硬件能力）。
13. 选择合适的优化器，如 Adam、SGD、AdamW。
14. 实现学习率调度策略（如 warmup、cosine、step decay 等）。
15. 使用梯度裁剪提升训练稳定性。
16. 应用权重衰减进行正则化。
17. 实现高效的数据流水线（如并行加载、预取、缓存）。
18. 应用合适的数据增强。
19. 正确处理类别不平衡（如重采样、类别权重、focal loss 等）。
20. 使用正确的验证策略（如固定验证集、交叉验证、按时间/分组划分）。
21. 用 DataParallel 包装模型，将输入 batch 分片到多张 GPU 并汇总梯度，完成简单多 GPU 数据并行训练。
22. 测量并评估 DataParallel 的同步开销，必要时减少同步频率或改用 DistributedDataParallel。
23. 根据 GPU 数量缩放全局 batch size，并同步调整学习率等超参数。
24. 实现 DistributedDataParallel 进行大规模训练，使用多进程在每张 GPU 上运行模型副本。
25. 处理梯度同步，如使用 all-reduce 确保各进程梯度一致。
26. 正确管理 process groups，如初始化、选择后端、销毁进程组。
27. 适当缩放学习率，如随全局 batch size 增大而调整。
28. 通过梯度累积模拟更大的 batch size，在多个小 batch 上前向/反向后再更新参数。
29. 正确处理 loss scaling，如将每个小 batch 的 loss 除以累积步数再反向。
30. 实现正确的梯度同步，如在累积完成后再执行同步/优化器更新，避免中途错误同步。
31. 使用 `torch.cuda.amp` 或等价实现混合精度训练。
32. 处理 loss scaling 以保证数值稳定性，如动态/静态缩放 loss。
33. 为不同操作选择合适精度（如 FP16/BF16/FP32）。
34. 用计算换内存（trade compute for memory）。
35. 实现激活检查点（activation checkpointing）。
36. 明智选择检查点粒度（如按层/块选择重计算范围）。
37. 实现全面的评估指标。
38. 可视化训练进度（如 loss/accuracy 曲线、学习率、梯度范数）。
39. 调试梯度流问题（如梯度消失/爆炸、NaN、未连接计算图）。
40. 分析性能瓶颈（如 profiler 定位数据加载、前向、反向、通信开销）。
41. 设置随机种子以保证可复现性。
42. 记录超参数和指标。
43. 定期保存检查点。
44. 完整记录实验（如配置、代码版本、数据版本、结论）。

适用边界 · 注意事项

• 不做深度学习/神经网络建模与训练时。
• 任务规模很小、单 GPU/CPU 即可完成且无性能瓶颈时，多 GPU、混合精度、梯度累积、激活检查点等优化可能增加复杂度。
• 使用非 PyTorch 框架且无等价 API 时，不要照搬 torch.cuda.amp/DataParallel/DistributedDataParallel 的具体接口，需改用对应框架实现。