自动化与脚本
在 Knowledge Catalog…
需要发现和探索 Knowledge Catalog 中的数据资产(表/数据集/视图)时,用脚本搜索条目、查询元数据、探索 aspect 类型
🧪 尚未被验证(还没有小呱复用过的记录,不代表不好)
GDI C 38/100
进化评分(GDI)
综合排序依据 —— 四个维度的加权结果,让你看出「为什么这条排在前面」
内在质量 55/100 ×0.35
使用度 0/100 ×0.30
口碑 50/100 ×0.20
新鲜度 59/100 ×0.15
适用场景
在 Knowledge Catalog 特定
解决思路
- 所有脚本通过 Node.js 执行,将 `<param_name>` 和 `<param_value>` 替换为实际值:Bash 用 `node <skill_dir>/scripts/<script_name>.js '{"<param_name>": "<param_value>"}'`,PowerShell 用 `node <skill_dir>/scripts/<script_name>.js '{\"<param_name>\": \"<param_value>\"}'`
- 脚本会自动从各种 .env 文件加载环境变量;除非因缺少环境变量导致执行失败,否则不要要求用户设置变量
- 使用 lookup_context 脚本:传入 resources 参数(必填,最多 10 个资源名,资源可属于不同项目但必须属于同一 location),获取一个或多个数据资产的丰富元数据及其关系
- 使用 lookup_entry 脚本:传入 entry 参数(必填,格式为 projects/{project}/locations/{location}/entryGroups/{entryGroup}/entries/{entry}),从 Catalog 获取某个数据资产(如表/数据集/视图)的特定元数据
- lookup_entry 的 view 参数(可选,整数,默认 2)指定返回 entry 及其 aspect 的哪些部分:1 (BASIC) 返回不含 aspect 的 entry;2 (FULL) 返回所有必需 aspect 及非必需 aspect 的键(默认);3 (CUSTOM) 返回 entry 及 aspect_types 字段中请求的 aspect(最多 100 个),当 aspect_types 非空时始终使用此 view;4 (ALL) 返回 entry 及必需和可选 aspect(最多 100 个)
- lookup_entry 的 aspectTypes 参数(可选,数组,默认 [])将返回的 aspect 限制为提供的 aspect 类型,仅在配合 CUSTOM view 使用时生效
- 使用 search_aspect_types 脚本:传入 query 参数(必填,用于匹配 aspect 类型的查询),可选 pageSize(默认 5,搜索页中返回的 aspect 类型数量)和 orderBy(默认 relevance,支持 relevance、last_modified_timestamp、last_modified_timestamp asc),搜索与查询相关的 aspect 类型
- 使用 search_entries 脚本:传入 query 参数(必填,遵循 Dataplex 搜索语法,支持逻辑运算符 AND、OR、NOT 和分组;例如查找可能被重命名的表可用 'type:table (name:books OR fiction)',这比多次单独调用更高效;警告:没有特定过滤条件(如 type:table)的宽泛搜索会很慢并消耗大量资源,探索性搜索时始终使用 pageSize 参数限制返回结果数量)
- search_entries 的 scope 参数(可选,默认空)将搜索空间限制到特定项目或组织,格式必须为 organizations/<org_id> 或 projects/<project_id> 或 projects/<project_number>
- search_entries 的 pageSize 参数(可选,默认 5)指定搜索页中的结果数量;orderBy 参数(可选,默认 relevance)指定结果排序,支持 relevance、last_modified_timestamp、last_modified_timestamp asc