主要职责
• 在 AWS 上架构并构建一个稳健的数据平台，采用云基础设施、数据工程和安全性的最佳实践。
• 设计并实施数据管道、数据湖和数据仓库，以支持分析、报告和机器学习用例。
• 与工程、分析和业务团队的利益相关者合作，理解数据需求并将其转化为可扩展的解决方案。
• 建立数据治理框架，包括数据质量、元数据管理、数据血缘和访问控制。
• 优化数据存储和处理解决方案的性能和成本效率。
• 评估和集成第三方工具和服务，以增强数据平台的能力。
• 指导和培养初级工程师，并为构建高效能的数据工程团队作出贡献。
所需资格
• 在 AWS 上设计和实施数据平台方面有证明的经验（例如，S3、Glue、Redshift、Athena、EMR、Lambda、Kinesis）。
• 在数据建模、ETL/ELT 过程和分布式数据处理框架（例如，Apache Spark、Apache Flink）方面具有强大的能力。
• 具备基础设施即代码工具（例如，Terraform、CloudFormation）的实际经验。
• 对云环境中的数据安全、合规性和治理有扎实的理解。
• 精通 Python、SQL 和其他相关编程语言。
• 在数据工程中有 CI/CD 管道和 DevOps 实践的经验。
• 具备出色的问题解决、沟通和利益相关者管理技能。
优先资格
• AWS 认证解决方案架构师或 AWS 认证数据分析师认证。
• 具备实时数据流和事件驱动架构的经验。
• 熟悉数据目录工具（例如，AWS Glue 数据目录、Amundsen）。
• 了解机器学习工作流及其与数据平台的集成。 
