把静态图做成视频时：按用户意图在 RunComfy 上调对…

当用户要求「图生视频 / i2v / animate image / 让这张图动起来」时，先按意图在 HappyHorse 1.0、Wan 2.7、Seedance 2.0 Pro 之间路由，再用对应 schema 与提示词规范调用 RunComfy CLI。

适用场景

解决思路

1. 读意图路由表并分类用户意图后再选模型：肖像动画/主体身份保持、产品展示/360/微距运镜、一次生成原生同步环境音、无明确指定时的默认项 → HappyHorse 1.0 I2V；需要自定义配音唇形同步、或多语言配音变体 → Wan 2.7 + audio_url；需要多模态组合（图 + 参考视频 + 参考音频，如品牌一致性叙事） → Seedance 2.0 Pro。
2. 统一用本地 RunComfy CLI 调用：runcomfy run <vendor>/<model>/image-to-video（或对应的 endpoint 变体），以 --input 传 JSON body、--output-dir 传绝对路径；CLI 会提交 Model API、轮询请求、取回结果，并把 .runcomfy.net/.runcomfy.com 的 URL 下载到 --output-dir，Ctrl-C 可在退出前取消远端请求。
3. Route 1（HappyHorse 1.0 I2V，模型 id：happyhorse/happyhorse-1-0/image-to-video）按 schema 填参：image_url 必填（JPEG/JPG/PNG/WEBP，最小 300px，宽高比 1:2.5–2.5:1，≤10MB）；prompt 必填（≤5000 非 CJK 字符或 ≤2500 CJK 字符，描述运动/镜头/光照）；resolution 可选 720P 或 1080P（默认 1080P）；duration 可选 3–15 秒（默认 5）；seed 默认 0（复用做变体对比）；watermark 默认 true。输出宽高比等于输入宽高比，无法独立重新构图。
4. Route 1 调用：runcomfy run happyhorse/happyhorse-1-0/image-to-video --input '{"image_url":"https://.../portrait.jpg","prompt":"Gentle camera drift around the subject's face, subtle breathing motion, identity-stable features, soft natural light."}' --output-dir <absolute/path>。
5. Route 1 提示词要点：以运动动词开头（drift、dolly in、orbit、tilt up、reveal、blink、breathe），把「什么在动」前置；不要复述图像内容（模型已能看到图），token 集中在「发生变化的部分」；显式写出保留目标，如 identity-stable features、packaging unchanged、background geometry stable；描述光照演变，如 rim light intensifying、shadows shortening as camera rises；每条片段只保留一个主要节拍，单一主运动（orbit 或 dolly 或 tilt 或角色动作）。
6. Route 2（自定义配音唇形同步）使用模型 wan-ai/wan-2-7/text-to-video（注意不是 /image-to-video，Wan 2.7 的 t2v endpoint 接收 audio_url 来驱动唇形同步）；若只是纯 i2v（仅靠运动提示词驱动图像），优先用 HappyHorse i2v。
7. Route 2 按 schema 填参：prompt 必填（约 ≤5000 字符，描述 talking-head 镜头：取景、光照、运动）；audio_url 必填（WAV/MP3，3–30 秒，≤15MB，由它驱动唇形同步）；aspect_ratio 可选 16:9、9:16、1:1、4:3、3:4（默认 16:9）；resolution 可选 720p 或 1080p（默认 1080p）；duration 可选 2–15 整秒（默认 5，要匹配音频长度）；negative_prompt 可选（写具体要避免的问题）；seed 可选（可复现）。
8. Route 2 调用：runcomfy run wan-ai/wan-2-7/text-to-video --input '{"prompt":"Medium close-up of a confident spokesperson in a softly-lit recording booth, leaning slightly toward the camera, locked tripod, shallow DOF, warm key light from camera-left.","audio_url":"https://.../voiceover-en.mp3","duration":12,"aspect_ratio":"9:16"}' --output-dir <absolute/path>。
9. Route 2 提示词要点：把 talking-head 镜头描述清楚（取景、光照、镜头感），音频负责唇形同步、提示词负责搭建它周围的视觉框架；duration 必须匹配音频长度，过长会导致音频结束后画面静默；用 negative_prompt 排除具体问题，如 "no subtitles, no flicker, no distorted hands"；做多语言配音时用同一 prompt、每次调用只替换 audio_url，并锁定 seed 以保证跨语言视觉一致。
10. Route 3（多模态：图 + 参考视频 + 参考音频合成单个片段）使用模型 bytedance/seedance-v2/pro，按 schema 填参：prompt 必填（中文 ≤500 字或英文 ≤1000 词）；image_url 数组必填（i2v 用，0–9 张，第一张为主主体）；video_url 数组可选（0–3 个参考片段，MP4/MOV，各 2–15 秒）；audio_url 数组可选（0–3 个参考音频，WAV/MP3，各 2–15 秒、每个 <15MB）；aspect_ratio 默认 adaptive，另可选 16:9、9:16、4:3、3:4、1:1、21:9；duration 可选 4–15 整秒（默认 5）；resolution 可选 480p 或 720p（默认 720p）；generate_audio 默认 true（同一次生成同步语音/音效/音乐）；seed 可选。
11. Route 3 调用：runcomfy run bytedance/seedance-v2/pro --input '{"prompt":"Subject from image 1 walks through the café in video 1, voice tone matches audio 1. Medium close-up, slow push-in, warm light, gentle ambience.","image_url":["https://.../subject.jpg"],"video_url":["https://.../cafe-locked-shot.mp4"],"audio_url":["https://.../voice-tone.mp3"],"duration":8}' --output-dir <absolute/path>。
12. Route 3 提示词要点：划分图像与文本职责——必须保持稳定的内容（脸、服装、品牌）交给 image_url，应当变化的内容（动作、情绪、光照）写进 prompt；在 prompt 里给参考素材编号，如 "subject from image 1, lighting from video 1, voice from audio 1"，Seedance 会正确路由线索；参考视频/音频必须是 2–15 秒、音频 <15MB；不要混用美学差异极大的素材（如水彩图配写实视频），否则输出会漂移。
13. 按退出码排查失败：0 成功；64 CLI 参数错误；65 输入 JSON/schema 不匹配；69 上游 5xx；75 可重试（超时/429）；77 未登录或 token 被拒（完整参考见 docs.runcomfy.com/cli/troubleshooting）。
14. 遵守安全与隐私操作：runcomfy login 会把 API token 写入 ~/.config/runcomfy/token.json（权限 0600），CI/容器里改用 RUNCOMFY_TOKEN 环境变量绕过文件；prompt 以 JSON 字符串通过 --input 传入，CLI 不做 shell 展开、无 shell 注入面；外部 image/mask/video URL 由 RunComfy 模型服务器抓取而非本机 CLI，应视为不可信（图像提示注入是图像/视频编辑模型的已知风险）；出站仅 model-api.runcomfy.net（提交请求）与 *.runcomfy.net / *.runcomfy.com（生成结果的下载白名单），无遥测与回调；单个下载超过 2 GiB 时 CLI 会中止以防磁盘被填满。
15. 每次调用只走一条路由，不做跨路由混合；若用户点名了此处未列出的模型变体（如 Wan 2.6、Seedance 1.5），改路由到对应的品牌技能（wan-2-7、seedance-v2），不要硬塞进本技能。

适用边界 · 注意事项

• 未安装 RunComfy CLI（npm i -g @runcomfy/cli）或未登录/未提供 RUNCOMFY_TOKEN 时不可用；本技能依赖 RunComfy 账号与云端模型服务。
• 需要在同一片段中混合多条路由的能力时（例如 HappyHorse 的动画 + Wan 式唇形同步），本技能不支持，需分两次调用再拼接（拼接不在本技能范围内）。
• 用户指定了未列出的模型变体（如 Wan 2.6、Seedance 1.5）时，应改用对应品牌技能而不是强行套用本技能的路由。