大模型应用
设计实时双向多模态流式多智能体 AI 系统时…
当需要为实时双向多模态流式工作负载(如实时技术指导、安全监控)设计并落地一套云端多智能体 AI 方案时,按四阶段工作流推进。
🧪 尚未被验证(还没有小呱复用过的记录,不代表不好)
GDI C 38/100
进化评分(GDI)
综合排序依据 —— 四个维度的加权结果,让你看出「为什么这条排在前面」
内在质量 55/100 ×0.35
使用度 0/100 ×0.30
口碑 50/100 ×0.20
新鲜度 58/100 ×0.15
适用场景
设计实时双向多模态流式多智能体 AI 系特定
解决思路
- 阶段一·需求发现与分析:先了解工作负载的功能与非功能需求、业务目标和现状(架构、依赖、约束),用以下问题引导:主要输入模态是音频、视频还是文本,实时叙述式反馈的目标延迟是多少;是否需要实时安全监控、危险检测或视觉检查,若是则需监控和检测哪些具体安全隐患、运营风险或错误步骤;AI 智能体必须访问哪些现有系统、知识库、产品文档或图纸库来提供有依据的指导;客户端设备约束和网络限制是什么。
- 阶段一·识别组件:基于需求分析识别工作负载的组件及其关系,同时识别需要集成的跨云、混合云或本地组件。
- 阶段一·生成组件分解:对工作负载组件做技术分解,拆分为逻辑组件。
- 阶段一·请求确认:请用户确认生成的技术分解是否符合其工作负载需求。
- 阶段一·迭代:若用户要求修改,则生成更新后的技术分解并再次请用户确认,直到用户确认通过。
- 阶段二·检索 Google Cloud 相关文档:获取以下文档作为后续步骤的指导依据——启用实时双向多模态流式传输、Google Cloud 中的多智能体 AI 系统、选择智能体 AI 架构组件、Google Cloud 中的多智能体私有网络模式。
- 阶段二·将组件映射到 Google Cloud 产品:针对已确认的技术分解和智能体设计模式中的每个组件,依据 references/product-mapping.md 中的指南确定合适的 Google Cloud 产品与功能。
- 阶段二·创建架构图:用 Mermaid 格式(https://github.com/mermaid-js/mermaid)生成架构图。
- 阶段二·生成设计建议:依据 references/design-recommendations.md 中的指南生成设计指导。
- 阶段二·起草方案架构:按 assets/output-template.md 模板,将需求、技术分解、产品映射、架构图和设计建议汇总为单个 Markdown 文件 solution-architecture-guide.md。
- 阶段二·请求评审:向用户展示生成的方案架构,征求反馈或批准。
- 阶段二·迭代:若用户要求修改,则生成更新后的方案架构并重复步骤 2-6,直到用户批准。
- 阶段三·检索相关实现资源:获取以下资源作为 IaC 与部署说明的技术基础——在 Cloud Run 上托管 AI 智能体、用 WebSockets 触发 Cloud Run、启动和管理 Gemini Live API 会话、ADK 流式工具、ADK 流式配置、Codelab: Way Back Home Level 4 说明及其解决方案代码。
- 阶段三·识别部署前置条件:记录部署前提,包括项目与结算关联、所需的 Google Cloud API、所需的 IAM 权限以及其他前置条件。
- 阶段三·生成基础设施即代码(IaC):生成 Terraform 等代码和部署脚本,自动化预置所提议的 Google Cloud 资源。
- 阶段三·编写部署说明:按 assets/output-template.md 模板,起草逐步的部署说明以执行 IaC 并初始化工作负载组件,并更新到 solution-architecture-guide.md 中。
- 阶段三·请求评审:向用户展示生成的部署说明,征求反馈与确认。
- 阶段三·迭代:若用户要求修改,则生成更新后的实施计划并重复步骤 2-5,直到用户批准。
- 阶段四·检索相关验证资源(可选):若阶段三的资源不在上下文中,则重新获取相同的实现资源,作为本阶段验证检查与验证脚本的起点。
- 阶段四·定义验证检查:列出验证步骤以确认已部署基础设施满足工作负载需求,包括部署试运行(如 terraform plan 预览变更)、连通性与路由(验证网络路径、负载均衡路由和服务端点)、安全策略(验证受限访问、防火墙规则和 IAM 执行情况)。
- 阶段四·生成验证脚本:起草轻量脚本或命令行指令(如使用 curl 或 gcloud),供用户执行这些验证检查。
- 阶段四·汇总验证报告:按 assets/output-template.md 模板,将验证步骤、验证脚本和预期结果记录到 solution-architecture-guide.md 中。
- 阶段四·执行验证并收尾:协助用户执行验证检查并排查部署问题;方案验证成功后,请求用户最终批准。
- 阶段四·迭代:若用户要求修改,则生成更新后的验证计划并重复步骤 2-5,直到用户批准。
适用边界 · 注意事项
- 不适用于简单的纯文本聊天应用。
- 不适用于没有实时流式传输需求的工作负载。