数据架构师 AWS,数据迁移与湖仓职位编号:298211

迪拜 无个税9天前全职 网络
面议
标题:AWS数据架构师(数据迁移与湖仓) 我们正在为位于阿联酋的大型组织客户寻找一位经验丰富的AWS数据架构师,以设计和交付大规模、端到端的数据平台和AWS上的迁移解决方案。该角色涉及构建现代湖仓架构、实现云数据迁移,并为分析和报告设计业务就绪的数据模型。 重要:这是一个全职现场工作机会,位于阿联酋办公室(无远程/混合选项) 主要职责 - 设计并构建从本地到云端的数据迁移的端到端数据管道 - 架构并实施湖仓/勋章架构(铜、银、金层) - 为分析和业务使用设计黄金/建模数据层 - 实施CDC(变更数据捕获)机制以实现近实时数据处理 - 在S3上设计和管理具有模式演变和数据版本控制的Iceberg表 - 定义数据模型、模式和治理标准 - 确保数据处理符合法规和合规要求(例如GDPR) - 使用现代AWS服务编排批处理和流式工作流 - 监控、优化并确保数据管道的性能、成本和可靠性 所需技能和技术 - AWS服务:AWS Glue, EMR, Lambda, EC2, CloudWatch, MWAA (Airflow), Redshift, DynamoDB, S3, DataZone - 数据架构:湖仓/勋章架构、数据建模、黄金层设计 - 数据工程:CDC实施、批处理和管道编排、模式设计与演变 - 存储与格式:Apache Iceberg、数据版本控制、分区策略 - 治理与合规:符合GDPR的数据处理、访问控制、数据血缘 - 迁移经验:大规模数据迁移到云端(本地/混合到AWS) 经验 - 至少8到15年以上数据工程和架构的整体经验 - 在企业级云数据平台上的AWS有强大的背景 地点 - 阿联酋办公室(完全现场,无混合/远程选项)