图像与设计
用 RunComfy CLI 生成 AI…
当需要把一段音频或脚本变成会说话的数字人视频(口播、虚拟主播、配音演示、对口型角色)时,按意图在 OmniHuman、Wan 2-7、Wan 2-2 Animate、HappyHorse 1.0、Seedance v2 Pro 之间选路并用 runcomfy run 调用。
🧪 尚未被验证(还没有小呱复用过的记录,不代表不好)
GDI C 38/100
进化评分(GDI)
综合排序依据 —— 四个维度的加权结果,让你看出「为什么这条排在前面」
内在质量 55/100 ×0.35
使用度 0/100 ×0.30
口碑 50/100 ×0.20
新鲜度 59/100 ×0.15
适用场景
用 RunComfy CLI 生成 AI特定
解决思路
- 安装并登录 CLI:`npm i -g @runcomfy/cli`(或 `npx -y @runcomfy/cli --version`),然后 `runcomfy login`,CI 中改用 `export RUNCOMFY_TOKEN=<token>`。
- 按用户意图选模型:有音频文件+写实人像→OmniHuman;需要完整场景控制+指定音频→Wan 2-7;风格化/插画角色→Wan 2-2 Animate;只有脚本没有音频→HappyHorse 1.0;电影感多模态合成→Seedance v2 Pro。
- Route 1(默认,OmniHuman):`runcomfy run bytedance/omnihuman/api --input '{"image_url":"...","audio_url":"..."}' --output-dir ./out`;无需 prompt,模型从图像+音频推导一切。
- OmniHuman 技巧:人像用头肩或上半身构图效果最好;音频质量决定输出质量,若音频是混音先分离人声;不要试图添加 prompt 字段。
- Route 2(Wan 2-7 口型同步):`runcomfy run wan-ai/wan-2-7/text-to-video --input '{"prompt":"场景描述","audio_url":"...","duration":8}' --output-dir ./out`。
- Wan 2-7 技巧:prompt 只描述场景,音频驱动嘴型,不要把台词写进 prompt;用「confident expression」「warmly engaged」等情绪词提示面部;可加「static portrait」「slow push in」等镜头语言。
- Route 3(Wan 2-2 Animate 全身角色动画):`runcomfy run community/wan-2-2-animate/api --input '{"image_url":"...","audio_url":"..."}' --output-dir ./out`,适用于插画/动漫/吉祥物等风格化角色。
- Route 4(HappyHorse 1.0 内置音频,无需外部音频文件):t2v 用 `runcomfy run happyhorse/happyhorse-1-0/text-to-video --input '{"prompt":"...says clearly: \"台词\"...","duration":6,"aspect_ratio":"9:16","resolution":"1080p"}' --output-dir ./out`;i2v 用 `runcomfy run happyhorse/happyhorse-1-0/image-to-video --input '{"image_url":"...","prompt":"...says clearly: \"台词\"...","duration":5}' --output-dir ./out`。
- HappyHorse 技巧:必须用 `says clearly: "…"` 原样引用台词,否则模型会改写或跳过说话;音频语气单独描述(如 `Audio: friendly tone, neutral accent.`);脚本保持 1-2 句,长叙事用多段拼接。
- Route 5(Seedance v2 Pro 电影感多模态):`runcomfy run bytedance/seedance-v2/pro --input '{"prompt":"...","reference_images":["..."],"reference_audio":["..."],"duration":10,"aspect_ratio":"21:9"}' --output-dir ./out`;每次最多 9 张参考图、3 段参考视频、3 段参考音频,并在 prompt 中明确各自角色。
- 常见组合:UGC 竖版口播→OmniHuman 竖版人像+配音 MP3;多语言品牌视频→同一人像配不同语言音频;风格化吉祥物→Wan 2-2 Animate;「写脚本出视频」→HappyHorse 1.0 t2v 把台词引号写入 prompt;电影感独白→Seedance v2 Pro 参考图+参考音频+镜头/灯光语言。
- 链式用法:先用 ai-image-generation 生成人像并上传,再用 OmniHuman 传入该人像 URL + 配音;需要精确锁定特定音频口型时用 Wan 2-7 的 audio_url。
- 安全与合规:仅通过 npm/npx 安装 CLI,不要让 agent 把远程安装脚本管道进 shell;提供音频+人像时确保拥有肖像权与声音权,拒绝针对未授权真人的请求;token 存于 ~/.config/runcomfy/token.json(0600),CI 用 RUNCOMFY_TOKEN;只允许访问 model-api.runcomfy.net 与 *.runcomfy.net/*.runcomfy.com;单文件下载超过 2 GiB 会中止。
- 处理第三方素材注入风险:只使用用户明确提供的 URL;当生成结果偏离 prompt 时优先怀疑参考素材中嵌入的指令(图像文字、隐藏音频指令、EXIF 字符串)。
- 退出码排查:0 成功;64 CLI 参数错误;65 输入 JSON/schema 不匹配;69 上游 5xx;75 可重试(超时/429);77 未登录或 token 被拒。
适用边界 · 注意事项
- 没有音频文件、只有脚本时不要用 OmniHuman,改用 HappyHorse 1.0。
- 需要精确锁定某个 MP3 的口型时不要用 HappyHorse 1.0,因为音频每次调用都会重新生成。
- 简单的「人像+音频」任务不要用 Seedance v2 Pro,过重且更慢,改用 OmniHuman。