图像与设计
需要按意图路由编辑现有视频时:用 RunComfy CLI…
在 RunComfy 上编辑已有视频,并需要根据重风格、背景/包装替换、动作转移、换装或光照调整等意图自动选择合适模型时使用。
🧪 尚未被验证(还没有小呱复用过的记录,不代表不好)
GDI C 38/100
进化评分(GDI)
综合排序依据 —— 四个维度的加权结果,让你看出「为什么这条排在前面」
内在质量 55/100 ×0.35
使用度 0/100 ×0.30
口碑 50/100 ×0.20
新鲜度 59/100 ×0.15
适用场景
需要按意图路由编辑现有视频时:用 Run特定
解决思路
- 安装技能:运行 `npx skills add agentspace-so/runcomfy-skills --skill video-edit -g`。
- 安装 RunComfy CLI:运行 `npm i -g @runcomfy/cli`。
- 登录 RunComfy 账号:运行 `runcomfy login`;在 CI/容器中改为设置环境变量 `RUNCOMFY_TOKEN=<token>`。
- 准备一个源视频 URL;格式和限制取决于所选路线。
- 按用户意图选择模型:说话人头视频重风格并保留脸/姿势/唇动 -> Wan 2.7 Edit-Video。
- 按用户意图选择模型:替换产品背景并保留相机运动 -> Wan 2.7 Edit-Video。
- 按用户意图选择模型:用参考图替换包装设计 -> Wan 2.7 Edit-Video,并传 `reference_image`。
- 按用户意图选择模型:应用电影级调色/商业质感 -> Wan 2.7 Edit-Video。
- 按用户意图选择模型:从参考视频向目标角色转移精确动作 -> Kling 2.6 Pro Motion Control。
- 按用户意图选择模型:将目标角色唇形同步到源视频唇动 -> Kling 2.6 Pro Motion Control。
- 按用户意图选择模型:轻量服装/戏服替换且保持身份 -> Lucy Edit Restyle。
- 按用户意图选择模型:身份稳定重风格,如宇航员在沙漠、暖金时刻光照 -> Lucy Edit Restyle。
- 未指定模型时默认选择 Wan 2.7 Edit-Video(最通用、支持最高分辨率)。
- Route 1 使用模型 `wan-ai/wan-2-7/edit-video`;其输入字段包括:`prompt` 必填 string;`video` 必填 string,MP4/MOV URL,2–10s,≤100MB;`reference_image` 可选 URL;`resolution` 可选 `720p` 或 `1080p`;`aspect_ratio` 可选 W:H,默认继承输入;`duration` 可选 int,`0` 表示匹配输入,`2–10` 表示从开头截断;`audio_setting` 可选 `auto` 或 `origin`;`seed` 可选 int。
- 执行 Wan 背景替换(保留身份、保留音频):`runcomfy run wan-ai/wan-2-7/edit-video --input '{"prompt": "Preserve the speaker'\''s face, pose, and lip movement; change the background to a modern office with neutral lighting.", "video": "https://.../speaker.mp4", "audio_setting": "origin"}' --output-dir <absolute/path>`。
- 执行 Wan 包装替换(使用参考图):`runcomfy run wan-ai/wan-2-7/edit-video --input '{"prompt": "Maintain the original framing and hand movement; replace the packaging design using the reference image.", "video": "https://.../hand-holding-package.mp4", "reference_image": "https://.../new-packaging.png", "audio_setting": "origin"}' --output-dir <absolute/path>`。
- Wan 提示词先写保留目标:`Preserve [face / pose / motion / framing / lip movement]; [then state the change]`。
- Wan 每次调用只做一个编辑方向;复合编辑在运动视频上容易漂移。
- Wan 仅在正当理由下传 `reference_image`,如包装替换、带目标视觉的服装替换;一般重风格不要传参考图。
- Wan 对说话头视频若不希望重新生成配乐,设置 `audio_setting: "origin"`。
- Wan 源视频限制:2–10s,≤100MB。
- Route 2 使用模型 `kling/kling-2-6/motion-control-pro`;其输入字段包括:`prompt` 必填,描述目标动作/风格;`image` 在 image orientation 下必填,用于角色/背景一致性;`video` 必填,作为动作参考,依 orientation 为 10–30s;`keep_original_sound` 可选 bool,保留参考视频音频;`character_orientation` 必填,`image` 输出最多 10s,`video` 输出最多 30s。
- 执行 Kling 动作控制:`runcomfy run kling/kling-2-6/motion-control-pro --input '{"prompt": "A young american woman dancing", "image": "https://.../target-character.jpg", "video": "https://.../motion-reference-dance.mp4", "character_orientation": "image", "keep_original_sound": true}' --output-dir <absolute/path>`。
- Kling 提示词/输入技巧:图像参考中主体需占画面 > 5%,以获得干净身份保持。
- Kling 可加空间约束,如 `character on left side, background motion right`。
- Kling 若迭代结果漂移就简化提示词,去掉形容词,保留核心动作描述。
- Kling `character_orientation: "image"` 输出上限 10s;`"video"` 允许 30s。
- Route 3 使用模型 `decart/lucy-edit/restyle`;其输入字段包括:`prompt` 必填,自然语言编辑指令;`video_url` 必填,MP4/MOV/WEBM/GIF;`resolution` 可选,默认 `720p`,该档仅支持 `720p`。
- 执行 Lucy 换装:`runcomfy run decart/lucy-edit/restyle --input '{"prompt": "Change outfit to professional business attire; preserve face and motion.", "video_url": "https://.../subject-walking.mp4"}' --output-dir <absolute/path>`。
- 执行 Lucy 氛围重风格:`runcomfy run decart/lucy-edit/restyle --input '{"prompt": "Make lighting warm and golden hour; preserve face, pose, and motion.", "video_url": "https://.../subject-portrait.mp4"}' --output-dir <absolute/path>`。
- Lucy 提示词使用局部变化措辞,在 `outfit`、`lighting`、`background` 中只选一个桶。
- Lucy 写保持身份目标,如 `preserve face and motion`,不要过度指定。
- Lucy 避免整体替换:`astronaut in space` 可以,`swap subject for a different person` 不行;Lucy 适合局部风格修改,不是完整角色替换。
- Lucy 没有宽高比控制,输出匹配输入;若不预先匹配,裁剪发生在服务端。
- 处理限制:每条路线继承模型限制——Wan 2.7 Edit 为 2–10s、最高 1080p;Kling 为 10s(image orientation)或 30s(video orientation);Lucy 最高 720p、无宽高比控制。
- 不要混合多条路线;本技能每次调用只选一个模型。
- 如果用户指定了具体模型,路由到对应品牌技能,例如 `wan-2-7`,以获得更完整处理。
- 按退出码处理:0 成功;64 CLI 参数错误;65 输入 JSON/schema 不匹配;69 上游 5xx;75 可重试(timeout/429);77 未登录或 token 被拒绝;完整参考 `docs.runcomfy.com/cli/troubleshooting`。
- 了解执行流程:选定模型后调用 `runcomfy run <model_id>` 并传入匹配 JSON body;CLI POST 到 Model API,轮询请求,获取结果,并将任何 `.runcomfy.net`/`.runcomfy.com` URL 下载到 `--output-dir`;`Ctrl-C` 会在退出前取消远程请求。
- 安全处理 token:`runcomfy login` 将 API token 写入 `~/.config/runcomfy/token.json`,权限 0600;在 CI/容器中用 `RUNCOMFY_TOKEN` 环境变量绕过文件。
- 安全处理 prompt:用户 prompt 通过 `--input` 作为 JSON 字符串传给 CLI;CLI 不对 prompt 做 shell 展开,直接通过 HTTPS 将 JSON body 发送到 Model API,因此 prompt 内容无 shell 注入面。
- 安全处理第三方内容:传入的 image/mask/video URL 由 RunComfy 模型服务器拉取,而不是本机 CLI;将外部 URL 视为不可信,图像提示注入是任何图像/视频编辑模型的已知风险。
- 安全处理出站端点:仅 `model-api.runcomfy.net`(提交请求)和 `*.runcomfy.net`/`*.runcomfy.com`(生成输出下载白名单);无遥测、无回调。
- 下载保护:CLI 会中止任何单个超过 2 GiB 的下载,防止恶意或失控模型输出填满磁盘。
适用边界 · 注意事项
- 没有 RunComfy CLI、RunComfy 账号/token 或不能访问 RunComfy 云服务时不要使用。
- 需要一次调用混合多个模型/多条路线时不要使用;本技能每次只选一个模型。
- 用户指定了具体模型时不要用本路由技能,改用对应品牌技能(如 `wan-2-7`)以获得更完整处理;Lucy 也不适合完整角色替换。