职位概述
我们正在寻找一位熟练的数据工程师，负责设计、构建和维护稳健的数据管道，以确保在工程和治理方面遵循最佳实践。
理想的候选人应具备实际操作能力，理解整个数据生命周期，能够独立推动工作，并关注质量、可扩展性和协作，同时具备强烈的学习意愿和适应能力，能够根据需要掌握新技术。
主要职责
• 数据管道开发：设计和开发可扩展的数据管道，以从内部和外部来源获取、处理和存储结构化和非结构化数据。
• ETL/ELT过程优化：优化ETL/ELT流程，以实现实时和批处理数据处理。
• 数据质量和治理：确保企业系统中的数据质量、一致性和溯源。执行数据治理政策，以确保符合行业法规和内部标准。
• 跨职能协作：与各职能团队紧密合作，理解数据需求并开发有效解决方案。为跨职能团队提供数据管理和分析的最佳实践指导。
要求
要在此职位中取得成功，您需要：
• 相关学科的学士学位。
• 至少5年的数据工程经验。
• 在Azure Synapse或Databricks中设计和构建数据管道的证明经验。
• 在SQL、Python或Scala数据处理和转换方面的强大专业知识。
• 在大数据处理方面的证明经验，以及使用Apache Spark、Hadoop、Snowflake、Databricks或AWS/GCP/Azure数据平台等技术的经验。
• 具备ETL/ELT工具和现代数据仓库解决方案的实际经验。
• 具备实施数据治理和安全措施的经验，深入理解治理如何适用于整个数据管道，以确保质量、安全性和合规性。
• 具备数据建模和数据分析的经验者优先。
• 出色的沟通和利益相关者管理技能。
• 强大的分析和解决问题的能力，注重细节。
• 注重细节，能够在快节奏的环境中平衡多项任务。
• 能够独立工作，也能作为跨职能团队的一部分。 
新加坡