用 ComfyUI 生成视频时如何选择引擎并完成图像转视频…

在需要从角色图片或文本描述生成视频时，按质量、时长、显存和运动控制需求选择 Wan 2.2、FramePack 或 AnimateDiff 并执行完整后处理流程。

适用场景

解决思路

1. 按需求选择引擎：需要电影级质量且显存 24GB+ 用 Wan 2.2 MoE 14B，显存 8GB 用 Wan 2.2 1.3B；需要超过 10 秒长视频用 FramePack（6GB 可生成 60 秒）；需要快速迭代用 AnimateDiff Lightning（4-8 步）；需要镜头/运动控制用 AnimateDiff V3 + Motion LoRAs；需要首尾帧控制用 Wan 2.2 MoE（独占功能）；无特殊要求默认用 Wan 2.2。
2. Wan 2.2 MoE 图像转视频前准备模型：将 wan2.1_i2v_720p_14b_bf16.safetensors 放入 models/diffusion_models/，umt5_xxl_fp8_e4m3fn_scaled.safetensors 放入 models/clip/，open_clip_vit_h_14.safetensors 放入 models/clip_vision/，wan_2.1_vae.safetensors 放入 models/vae/。
3. Wan 2.2 图像转视频参数：分辨率 1280x720（横屏）或 720x1280（竖屏），帧数为 4 的倍数加 1（81 帧约 5 秒 @16fps），步数 30-50，CFG 5-7，采样器 uni_pc，调度器 normal。
4. 按目标时长换算帧数（16fps）：1 秒 17 帧，3 秒 49 帧，5 秒 81 帧，10 秒 161 帧。
5. Wan 2.2 显存优化：使用 FP8 量化将显存减半且质量损失极小，使用 SageAttention 加速注意力计算，显存不足时减少帧数。
6. Wan 2.2 文本转视频：与图像转视频相同，但使用 wan2.1_t2v_14b_bf16.safetensors，并用 EmptySD3LatentImage 替代图像条件。
7. Wan 2.2 首尾帧控制：先用一致角色生成两张主图，将第一张作为起始帧、第二张作为结束帧，由 Wan 在两者之间插值生成运动。
8. FramePack 设置：分辨率 640x384 到 1280x720（取决于显存），时长最长 60 秒，显存占用与视频长度无关，质量接近 Wan。
9. FramePack 适用场景：视频超过 10 秒、显存有限、需要把显存留给并行操作、批量生成视频。
10. AnimateDiff V3 标准设置：运动模块 v3_sd15_mm.ckpt，步数 20-25，CFG 7-8，采样器 euler_ancestral，分辨率 512x512，上下文长度 16，上下文重叠 4。
11. AnimateDiff Lightning 设置：运动模块 animatediff_lightning_4step.safetensors，步数 4-8，CFG 1.5-2.0，采样器 lcm，分辨率 512x512，上下文长度 16，上下文重叠 4。
12. 使用 AnimateDiff 镜头运动 LoRA：v2_lora_ZoomIn 拉近、v2_lora_ZoomOut 拉远、v2_lora_PanLeft 左移、v2_lora_PanRight 右移、v2_lora_TiltUp 上仰、v2_lora_TiltDown 下俯、v2_lora_RollingClockwise 顺时针旋转。
13. 后处理第一步帧插值：用 rife47 或 rife49 模型做 RIFE 2x（16fps→32fps）或 RIFE 4x（16fps→64fps）使运动更平滑。
14. 后处理第二步人脸增强（角色视频）：对每一帧应用 FaceDetailer，denoise 设为 0.3-0.4（低于图像以保持时序一致性），guide_size 设为 384（视频速度优化），detection_model 用 face_yolov8m.pt。
15. 后处理第三步去闪烁：如有需要，减少帧间时序不一致。
16. 后处理第四步色彩校正：保持各帧色调一致。
17. 后处理第五步视频合成：用 VHS Video Combine 输出，frame_rate 设为 16（原生）或 24/30（插值后），format 为 video/h264-mp4，crf 19（高质量）到 23（更小文件）。
18. 口播视频完整流程：1) 用 comfyui-voice-pipeline 生成音频；2) 用本技能生成基础视频（Wan I2V 或 AnimateDiff），提示词为“{character}, talking naturally, slight head movement”，时长匹配音频；3) 用 Wav2Lip 或 LatentSync 做唇形同步；4) 用 FaceDetailer + CodeFormer 增强人脸；5) 用 video-assembly 输出最终视频。
19. 完成前质量检查：角色身份跨帧一致、无闪烁或时序伪影、运动自然不卡顿不冻结、角色视频已做人脸增强、帧率平滑（交付至少 24fps）、口播视频音频已同步、分辨率符合交付目标。
20. 参考资源：references/workflows.md 提供 Wan 和 AnimateDiff 工作流模板，references/models.md 提供视频模型下载链接，references/research-log.md 记录最新视频生成进展，state/inventory.json 列出可用视频模型。

适用边界 · 注意事项

• 没有安装 ComfyUI 或未配置 COMFYUI_URL 环境时无法使用。
• 需要特定云厂商或付费服务时本技能不适用（本技能依赖本地 ComfyUI 与模型文件）。
• 显存极低且无法满足所选引擎最低要求时，需改用 FramePack 或降低分辨率/帧数。