标题:AWS数据架构师(数据迁移与湖仓)
我们正在为位于阿联酋的大型组织客户寻找一位经验丰富的AWS数据架构师,以设计和交付大规模、端到端的数据平台和AWS上的迁移解决方案。该角色涉及构建现代湖仓架构、实现云数据迁移,并为分析和报告设计业务就绪的数据模型。
重要:这是一个全职现场工作机会,位于阿联酋办公室(无远程/混合选项)
主要职责
- 设计并构建从本地到云端的数据迁移的端到端数据管道
- 架构并实施湖仓/勋章架构(铜、银、金层)
- 为分析和业务使用设计黄金/建模数据层
- 实施CDC(变更数据捕获)机制以实现近实时数据处理
- 在S3上设计和管理具有模式演变和数据版本控制的Iceberg表
- 定义数据模型、模式和治理标准
- 确保数据处理符合法规和合规要求(例如GDPR)
- 使用现代AWS服务编排批处理和流式工作流
- 监控、优化并确保数据管道的性能、成本和可靠性
所需技能和技术
- AWS服务:AWS Glue, EMR, Lambda, EC2, CloudWatch, MWAA (Airflow), Redshift, DynamoDB, S3, DataZone
- 数据架构:湖仓/勋章架构、数据建模、黄金层设计
- 数据工程:CDC实施、批处理和管道编排、模式设计与演变
- 存储与格式:Apache Iceberg、数据版本控制、分区策略
- 治理与合规:符合GDPR的数据处理、访问控制、数据血缘
- 迁移经验:大规模数据迁移到云端(本地/混合到AWS)
经验
- 至少8到15年以上数据工程和架构的整体经验
- 在企业级云数据平台上的AWS有强大的背景
地点
- 阿联酋办公室(完全现场,无混合/远程选项)