角色：数据质量保证
地点：加拿大多伦多
主要职责：
• 开发并实施测试策略、测试用例和自动化脚本，以验证 Azure 和 Databricks 环境中的数据管道。
• 执行数据验证、对账和源系统与目标系统之间的比较分析。
• 验证使用 ADF 和 Databricks 构建的 ETL/ELT 管道。
• 与数据工程师和产品负责人合作，理解 STM（源到目标映射），确保转换逻辑正确实施。
• 监控和验证 Delta 表及数据仓库中的数据质量。
• 识别数据异常，记录缺陷，并与工程团队一起推动解决。
• 通过将数据测试集成到 DevOps 工作流中，支持 CI/CD 管道。
• 参与测试数据管理、元数据验证和回归测试。
• 定期提供测试执行结果、缺陷指标和质量保证健康状况的报告。
所需技能：
• 在基于云的数据平台上具有数据 QA/验证的证明经验。
• 对 Azure Data Factory 和 Databricks 有深刻的了解。
• 精通 SQL 和 Python 等脚本语言。
• 具有数据分析、数据对账和模式验证的实际经验。
• 理解 SCD 类型 2 和数据转换逻辑。
• 熟悉 Azure DevOps 或 GitHub Actions 等 DevOps 工具以实现 CI/CD 集成。
• 具有处理大数据集、性能测试和数据血缘工具的经验。 
