大模型应用
为 Replicate 图像生成/编辑模型写 prompt…
在 Replicate 上调用图像生成或编辑模型、需要编写或迭代图像 prompt,或构建图像生成功能时使用。
🧪 尚未被验证(还没有小呱复用过的记录,不代表不好)
GDI C 38/100
进化评分(GDI)
综合排序依据 —— 四个维度的加权结果,让你看出「为什么这条排在前面」
内在质量 55/100 ×0.35
使用度 0/100 ×0.30
口碑 50/100 ×0.20
新鲜度 59/100 ×0.15
适用场景
为 Replicate 图像生成/编辑模特定
解决思路
- 选择图像模型时不要凭记忆;使用 find-models skill 查询 Replicate API。
- 图像模型格局每周变化;不要根据以前见过的名字假设特定模型存在或仍是 SOTA。
- 总是搜索 Replicate API 获取当前模型选项,并在运行前阅读模型 schema。
- 比较定价和功能时使用 compare-models skill。
- 写 prompt 时使用自然语言,不要用关键词列表。
- 用完整句子描述想要什么;现代图像模型比关键词堆砌更懂语法和上下文。
- 自然语言示例:用 “A woman standing in a Tokyo alleyway at dusk, neon signs reflecting off wet pavement”,不要用 “woman, Tokyo, alleyway, dusk, neon, wet pavement”。
- 保持具体且无歧义:命名确切颜色、材料、光照设置、相机设备和空间关系。
- 避免 “make it better”“artistic” 等模糊词,它们会带来不可预测结果。
- 具体描述示例:用 “A brutalist concrete building reflected in a perfectly still puddle after rain. A single figure with a red umbrella walks along the edge, the only color in an otherwise monochrome scene. Overcast sky, flat diffused light, tilt-shift lens effect on the edges.”,不要用 “Cool building with a person near it, rainy day”。
- 直接命名主体:使用 “the woman with short black hair”“the red car” 等描述性短语。
- 避免代词,因为代词对图像模型通常太模糊。
- 使用长而详细的 prompt:大多数现代模型接受数千 token。
- 长且结构清晰的描述性 prompt 通常优于短 prompt。
- 一个 prompt 包含 12+ 个具体要求(物体上的文字、带标签图表、颜色编码元素、特定材料)时,只要每条清楚可以生效。
- 注意:prompt 越长越复杂,越可能漏掉某些要求。
- 从简单开始再迭代:先做基本改动。
- 先测试小编辑,再基于有效结果继续构建。
- 大多数编辑模型支持迭代编辑,利用这一点。
- 使用摄影语言控制外观——胶片类型:Kodak Portra 800、Fuji Velvia 50、Ilford HP5。
- 使用摄影语言控制外观——镜头特征:50mm Summilux wide open、85mm f/1.4、24mm wide-angle。
- 使用摄影语言控制外观——景深:shallow(主体清晰、背景模糊)、deep(全部清晰)。
- 使用摄影语言控制外观——拍摄技术:golden hour、blue hour、long exposure、double exposure。
- 使用光照设置——Rembrandt lighting:经典肖像打光,脸颊上有三角形光。
- 使用光照设置——soft diffused studio lighting:清晰高光和柔和阴影。
- 使用光照设置——rim lighting / backlight:主体被背后光勾勒轮廓。
- 使用光照设置——flat diffused light:阴天、均匀照明、最少阴影。
- 使用光照设置——volumetric lighting:可见光束、雾、霾。
- 使用构图词汇——rule of thirds、centered composition、symmetry。
- 使用构图词汇——wide shot、medium shot、close-up、macro。
- 使用构图词汇——high angle、low angle、eye level、bird's-eye view。
- 使用构图词汇——tilt-shift 制作微缩效果。
- 文字渲染:在 prompt 中用双引号包裹希望出现的文本,例如 “Design a poster with the title ‘BLUE NOTE SESSIONS’ in bold condensed sans-serif”。
- 文字渲染:坚持使用可读字体;高度风格化文字可能效果较差。
- 文字渲染:编辑现有图像中的文字时使用模式 “Change 'old text' to 'new text'”。
- 文字渲染:尽量匹配文本长度;字符数大幅变化可能改变布局。
- 文字渲染:如果字体样式重要,明确要求保留字体样式。
- 文字渲染:复杂排版(海报、编辑版面)寻找把文字作为构图一部分而非盖章叠加的模型。
- 文字渲染:有些模型可以 inpaint 文字:mask 文字区域,prompt 新文字,模型会匹配原字体和样式。
- 风格迁移:命名确切风格,如 “impressionist painting”“1960s pop art”“Sumi-e ink wash”。
- 风格迁移:引用特定艺术家或运动以获得更清晰指导。
- 风格迁移:如果风格标签无效,描述其关键特征,如 “visible brushstrokes, thick paint texture, rich color depth”。
- 风格迁移:声明应保持不变的内容,如 “keep the original composition”。
- 风格迁移:当风格难以用文字描述时,使用一些模型支持的基于示例的编辑:提供 before/after 一对图,再给第三张图,让模型推断变换并应用。
- 风格迁移:一些模型接受风格参考图像;上传能捕捉目标调色板、纹理、构图和氛围的视觉参考。
- 角色一致性:从清晰参考描述开始,如 “the woman with short black hair and green eyes wearing a navy blazer”。
- 角色一致性:说明什么在变(场景、活动、风格)以及什么应保持不变(脸、表情、服装)。
- 角色一致性:模型支持时使用参考图像;有些模型能同时处理多张参考图像以增强一致性。
- 角色一致性:把复杂角色变化拆成步骤:先换装,再换场景。
- 角色一致性:生成合成训练数据:创建角色多张图像,挑选最好的,用于 fine-tuning 或作为参考。
- 图像编辑通用原则:明确指定要保留什么,显式声明应保持不变;使用 “keeping the pose and expression unchanged” 或 “maintain the original composition” 等短语。
- 图像编辑通用原则:小心选择动词;“transform” 暗示全面重做;使用具体动作,如 “change the clothes to a blue jacket” 或 “replace the background with a beach”。
- 图像编辑通用原则:精确说明范围,例如 “Change the background to a beach while keeping the person in the exact same position, maintain identical subject placement, camera angle, framing, and perspective. Only replace the environment around them.”。
- 对象移除:描述应该填充移除后留下的空间,而不仅仅描述要移除什么。
- 对象移除:有些编辑模型能干净处理移除,其他会留下结构伪影;如果一个模型处理不好,换另一个。
- 背景编辑:详细描述新背景:光照、时间、环境。
- 背景编辑:指定主体应保持完全相同位置和相同光照。
- 视角和角度改变:这些是最难的编辑之一,不是所有模型都能处理;一些模型局限于初始构图,难以处理新角度。
- Inpainting 和 outpainting:inpainting 时 mask 要编辑的区域,然后 prompt 应填充什么。
- Inpainting 和 outpainting:有些模型有 “magic prompt” 或自动重写功能;开启时,可以只描述编辑区域;关闭时,描述整个场景。
- Inpainting 和 outpainting:只描述被 masked 区域会让模型更强调 prompt,可能对针对性编辑产生更好结果。
- Inpainting 和 outpainting:ControlNet 风格条件(边缘检测、深度图)有助于在生成时保留结构。
- 多图和分镜生成:要求 “a series”“a set”,或指定网格布局,如 “2x2 storyboard grid”。
- 多图和分镜生成:用一致角色描述分别描述每个面板。
- 多图和分镜生成:通过重复精确描述保持风格和角色连续性。
- 多图和分镜生成:有些模型支持基于示例的编辑:展示一张图的 before/after 对,然后把相同变换应用到其他图。
- 产品摄影和商业工作:精确指定材料,如 “brushed steel”“matte aluminum”“kraft paper”“frosted glass”。
- 产品摄影和商业工作:描述光照设置,如 “soft diffused studio lighting, crisp highlights and gentle shadows”。
- 产品摄影和商业工作:品牌资产和图标,寻找产生原生 SVG 输出的模型(真正可编辑矢量文件)。
- 产品摄影和商业工作:带品牌和文案布局时,寻找强排版和设计构图能力的模型。
- Fine-tuning 和 LoRAs:在每个 prompt 中使用训练模型的触发词。
- Fine-tuning 和 LoRAs:组合多个 LoRA 时,用 scale 参数平衡影响,通常 0.9-1.1。
- Fine-tuning 和 LoRAs:生成合成训练数据:生成许多图像,挑最好的,重新训练。
- Fine-tuning 和 LoRAs:使用一致角色工作流从单个参考图像生成训练数据。
- 常见陷阱规避:不要写关键词堆砌 prompt;现代模型更响应自然语言句子。
- 常见陷阱规避:想要小编辑时不要用 “transform”,可能替换整个身份;使用定向语言,如 “change her outfit to Viking armor, keeping her face and expression unchanged”。
- 常见陷阱规避:编辑时始终说明要保留什么;没有明确指令时模型可能改变任何东西。
- 常见陷阱规避:不要在未训练 negative prompts 的模型上使用 negative prompts;这引入噪声而不是移除不想要元素;检查模型文档。
- 常见陷阱规避:guidance scale (CFG) 太高会让图像看起来 “burnt”、对比度过高;降低到模型推荐范围。
- 常见陷阱规避:不要期望实时知识;没有图像模型有互联网访问,内置世界知识来自训练数据但不是实时的。
- 常见陷阱规避:复杂场景不要用短 prompt;利用现代模型可接受数千 token 的能力。
- 常见陷阱规避:不要忽略宽高比;大多数模型有最佳分辨率,通常约 1 megapixel;太大产生边缘伪影,太小产生严重裁剪;使用模型推荐宽高比。
- 常见陷阱规避:任务不匹配时不要硬调 prompt;不是每个模型都擅长每个任务;如果一个模型在特定编辑类型上挣扎,换一个模型;参见 compare-models skill。
- 常见陷阱规避:不要不迭代;最佳结果来自迭代工作流:做小改动、评估、精炼、重复,不要试图一次生成就全部正确。
- 背景阅读:这些技术提炼自 Replicate 关于图像模型 prompt 的博客文章;文章锚定当时特定模型,但技术可泛化到现代图像模型;用 find-models skill 选择适合今天任务的模型。
- 如需额外背景,阅读 Replicate 的博客文章:How to prompt Seedream 5.0、Recraft V4、Run FLUX.2 on Replicate、How to prompt Nano Banana Pro、Which image editing model should I use?、Generate consistent characters、Use FLUX.1 Kontext to edit images with words、Imagen 4、Ideogram 3.0 on Replicate、FLUX.1 Tools、Ideogram v2 inpainting、Using synthetic data to improve Flux finetunes、FLUX.1: First Impressions、How to get the best results from Stable Diffusion 3。
适用边界 · 注意事项
- 没有 Replicate API 访问、未配置 find-models/compare-models skill,或必须完全离线工作时,不适用。
- 目标模型未训练支持 negative prompts、schema 未知或不在推荐参数范围内时,不要套用 negative prompts/CFG 等模型特定建议。
- 需要实时互联网知识、当前事件或实时数据时,图像模型无法提供,不适用。