亚马逊云科技推出规范驱动组合：数据工作流不再靠复制代码

亚马逊云科技推出规范驱动组合模式，用于构建灵活的数据转换工作流。该模式将工作流意图与处理逻辑分离，减少重复的流水线代码，并简化验证与治理。其无服务器实现基于AWS Lambda、Step Functions、S3和OpenSearch Service。 该模式面向数据流水线因数据集和工作流变体增多而难以维护的场景。传统脚本实现将编排、转换和验证逻辑绑定，引入新数据集需修改代码并重新部署，增加追踪难度。规范驱动组合将工作流分为意图层（含规范）、组合层（验证规范并组装流水线）和处理层（执行转换）。 规范以JSON或YAML描述源/目标数据集、字段映射及转换，不定义具体实现。组合器验证规范并生成可运行工作流，能力注册表保存可复用转换函数的元数据。示例中，S3事件触发Lambda组合器，查询OpenSearch能力元数据，创建并启动Step Functions状态机调用Lambda处理器，追踪信息发送至CloudWatch Logs。注册表支持能力发现和版本化引用，规范可包含数据分类标签以验证最终分类并生成脱敏产物。 该模式适用于受监管报告、多数据源集成和可复用ETL场景，但简单环境可能引入不必要复杂性。