职位名称：高级AWS数据工程师/数据平台工程师
经验：8年以上
地点：阿联酋迪拜（现场）
雇佣类型：全职
职位概述
我们正在寻找一位经验丰富的高级AWS数据工程师，负责在AWS上设计、构建和优化大规模数据平台。理想的候选人应具备丰富的AWS数据服务、批处理和流处理数据处理以及编排框架的实际操作经验，在构建和维护企业级数据解决方案中发挥关键作用。
主要职责
• 使用AWS原生服务设计、开发和优化可扩展的数据管道
• 领导批处理和近实时数据处理解决方案的实施
• 构建和管理数据摄取、转换和存储层
• 使用AWS Glue和Apache Spark on EMR构建和维护ETL/ELT工作流
• 使用Apache Airflow (MWAA)编排复杂的数据工作流
• 使用AWS Lambda开发和管理无服务器数据处理
• 使用Amazon Redshift设计和优化数据仓库
• 使用Amazon DynamoDB实施和管理NoSQL数据模型
• 利用AWS DataZone进行数据治理、目录管理和访问管理
• 使用Amazon CloudWatch监控、记录和排除数据管道故障
• 确保数据安全、质量、性能和成本优化
• 与架构师、分析团队和业务利益相关者合作
• 为初级团队成员提供技术指导和指导
所需技能和经验
• 8年以上数据工程和数据平台开发经验
• 丰富的实际操作经验，包括：
• AWS Glue
• Amazon EMR (Spark)
• AWS Lambda
• Apache Airflow (MWAA)
• Amazon EC2
• Amazon CloudWatch
• Amazon Redshift
• Amazon DynamoDB
• AWS DataZone
• 丰富的批处理数据处理架构经验
• 精通SQL、Python和Spark
• 具有处理大规模数据集和分布式系统的经验
• 深刻理解数据建模、数据仓库和ETL模式
• 具有CI/CD管道和基础设施即代码经验者优先
加分项
• AWS认证（数据分析/解决方案架构师）
• 具有数据治理和元数据管理经验
• 接触过数据湖和湖仓架构
