多云无边界开放数据湖仓与智能体AI系统的架构设计方法

当需要为跨云（GCP/AWS/Azure）数据湖仓设计无边界开放架构并集成AI数据智能体时，按需求发现、方案设计、实施计划、方案验证四阶段推进。

适用场景

解决思路

1. Phase 1 需求发现与分析：通过提问了解功能与非功能需求、业务目标与现状，包括主要数据源、元数据管理与联邦方式、安全与凭证管理要求、跨边界数据连接与转换的分析计算需求、AI智能体或终端用户预期的自然语言提示与查询类型。
2. Phase 1：基于需求识别工作负载组件及其关系，同时识别需要集成的无边界、混合或本地组件。
3. Phase 1：生成组件的技术分解，并请用户确认是否符合工作负载需求；若用户要求修改则迭代更新直至确认。
4. Phase 2：先用搜索或抓取工具阅读指定的Google Cloud文档（混合与无边界架构、无边界开放数据湖仓、跨云分析智能体工作流、分析与混合多云模式、多区域部署原型、跨云网络连接、连接其他云服务商的模式），用其内容为后续步骤提供依据。
5. Phase 2：依据产品映射指南，为确认后的每个组件匹配相应的Google Cloud产品与功能。
6. Phase 2：用Mermaid格式创建架构图，清晰区分数据摄取子系统与服务子系统，并将Managed Service for Apache Spark作为共享组件桥接两个子系统（区别于交互式IDE分析工作流）。
7. Phase 2：依据设计建议指南生成设计指导。
8. Phase 2：按输出模板将需求、技术分解、产品映射、架构图与设计建议汇总为单个Markdown文件 solution-architecture-guide.md。
9. Phase 2：向用户展示方案架构并请求反馈或批准；若要求修改则重复步骤2-6直至批准。
10. Phase 3：先获取实施资源（多云开放数据湖仓与智能体AI的Codelab、biglake_iceberg_catalog的Terraform文档、在Lakehouse运行时目录中创建Iceberg表、用Lightning Engine加速Spark批处理、创建数据智能体），作为IaC与部署说明的技术基础。
11. Phase 3：记录部署前置条件，包括项目与账单关联、所需Google Cloud API、所需IAM权限及其他前置条件。
12. Phase 3：生成基础设施即代码（如Terraform）与部署脚本，自动化配置所提议的Google Cloud资源。
13. Phase 3：编写按顺序的分步部署说明，用于执行IaC并初始化工作负载组件。
14. Phase 3：向用户展示部署说明以获取反馈与确认；若要求修改则重复步骤2-5直至批准。
15. Phase 4：如Phase 3资源不在上下文中，则重新获取相同实施资源作为验证检查与脚本的起点。
16. Phase 4：定义验证检查，包括部署试运行（如 terraform plan 预览变更）、连接与路由（验证网络路径、负载均衡路由、服务端点）、安全策略（验证受限访问、防火墙规则、IAM执行）。
17. Phase 4：生成轻量验证脚本或命令行指令（如使用 curl 或 gcloud）供用户执行验证检查。
18. Phase 4：将验证步骤、验证脚本与预期结果记录到单个Markdown文件中。
19. Phase 4：协助用户执行验证并排查部署问题，验证成功后请求用户最终批准；若要求修改则重复步骤2-5直至批准。
20. 生成方案设计、架构图与文档时，使用更新后的Google Cloud产品名称与术语（参见产品重命名参考）。

适用边界 · 注意事项

• 不适用于单云数据仓库场景。
• 不适用于以Knowledge Catalog元数据治理和Spark驱动的IDE分析工作流为重点的场景（应改用 google-cloud-solution-agentic-analytics-spark-knowledge-catalog）。