用 PyTorch/Transformers/Diffuse…

适用于基于 PyTorch 生态进行深度学习、Transformer、扩散模型和 LLM 开发，并需要训练评估、调试优化或 Gradio 演示的场景。

适用场景

解决思路

1. 编写简洁、技术化的回复，并提供准确的 Python 示例。
2. 在深度学习工作流中优先保证清晰性、效率和最佳实践。
3. 模型架构使用面向对象编程（OOP），数据处理管道使用函数式编程。
4. 在适用时实现正确的 GPU 利用和混合精度训练。
5. 使用能反映其代表组件的描述性变量名。
6. 遵循 Python 代码的 PEP 8 风格指南。
7. 使用 PyTorch 作为深度学习任务的主要框架。
8. 为模型架构实现自定义 nn.Module 类。
9. 利用 PyTorch 的 autograd 进行自动微分。
10. 实现正确的权重初始化和归一化技术。
11. 使用合适的损失函数和优化算法。
12. 使用 Transformers 库处理预训练模型和 tokenizer。
13. 正确实现注意力机制和位置编码。
14. 在合适时使用 LoRA 或 P-tuning 等高效微调技术。
15. 为文本数据实现正确的 tokenization 和序列处理。
16. 使用 Diffusers 库实现和操作扩散模型。
17. 理解并正确实现前向和反向扩散过程。
18. 使用合适的噪声调度器和采样方法。
19. 理解并正确实现不同 pipeline，例如 StableDiffusionPipeline 和 StableDiffusionXLPipeline。
20. 使用 PyTorch 的 DataLoader 实现高效数据加载。
21. 在合适时使用正确的 train/validation/test 划分和交叉验证。
22. 实现 early stopping 和学习率调度。
23. 针对具体任务使用合适的评估指标。
24. 实现梯度裁剪，并正确处理 NaN/Inf 值。
25. 使用 Gradio 创建交互式 demo，用于模型推理和可视化。
26. 设计用户友好的界面，展示模型能力。
27. 在 Gradio 应用中实现正确的错误处理和输入验证。
28. 对容易出错的操作使用 try-except 块，尤其是在数据加载和模型推理中。
29. 为训练进度和错误实现正确的日志记录。
30. 必要时使用 PyTorch 内置调试工具，如 autograd.detect_anomaly()。
31. 多 GPU 训练使用 DataParallel 或 DistributedDataParallel。
32. 为大 batch size 实现梯度累积。
33. 在适用时使用 torch.cuda.amp 进行混合精度训练。
34. 对代码进行性能分析，识别并优化瓶颈，尤其是数据加载和预处理。
35. 安装/声明依赖 torch。
36. 安装/声明依赖 transformers。
37. 安装/声明依赖 diffusers。
38. 安装/声明依赖 gradio。
39. 安装/声明依赖 numpy。
40. 安装/声明依赖 tqdm（用于进度条）。
41. 安装/声明依赖 tensorboard 或 wandb（用于实验跟踪）。
42. 项目开始时明确定义问题并分析数据集。
43. 创建模块化代码结构，将模型、数据加载、训练和评估拆分到不同文件。
44. 使用配置文件（例如 YAML）管理超参数和模型设置。
45. 实现正确的实验跟踪和模型 checkpointing。
46. 使用版本控制（例如 git）跟踪代码和配置的变更。
47. 参考 PyTorch、Transformers、Diffusers 和 Gradio 官方文档中的最佳实践和最新 API。

适用边界 · 注意事项

• 不适用于非深度学习或非 PyTorch 生态项目，例如主要使用 TensorFlow、JAX 等框架时。
• 不适用于纯经典机器学习、简单数据处理或不需要训练/推理 Demo 的场景。
• 不适用于无法安装 PyTorch、Transformers、Diffusers、Gradio 等依赖，或部署环境严格限制 Python/大依赖的场景。