DeepLight AI是一家专业的人工智能和数据咨询公司，拥有在多个行业实施智能企业系统的丰富经验，尤其是在金融服务和银行业方面。我们的团队结合了数据科学、统计建模、AI/ML技术、工作流自动化和系统集成的深厚专业知识，并对复杂的业务运营有实际理解。
我们正在寻找一位熟练的AWS Glue数据工程师加入我们的数据工厂小组，负责将源系统迁移到Lakehouse摄取区。此角色专注于构建可扩展的摄取管道、优化性能，并确保符合架构和数据保证标准。
理想情况下，您应具有金融服务领域的工作经验，并在AWS Glue、PySpark和ETL管道开发方面有丰富经验。
作为AWS Glue数据工程师，您的职责将包括：
• 数据摄取开发
* 使用定义的标准和模板构建和实施用于Bronze层摄取的AWS Glue作业。
* 根据源要求实施正确的加载方法（CDC、全量加载、增量、快照）。
* 设计和执行历史加载机制，将遗留数据引入Lakehouse。
• 性能优化
* 根据最佳实践优化Glue作业性能（DPU分配、并行化、分区）。
* 与平台团队合作，确保工具和优化的一致性。
• 迁移与自动化
* 积极将源表迁移到Bronze层，最初使用标准/模板的手动方法，随后利用AI加速。
* 确保作业通过Git和Terraform进行版本控制和生产部署自动化。
• 治理与监控
* 与源系统所有者合作，实现源系统连接到CDP。
* 确保作业符合数据合同并得到适当监控。
* 准备文档并移交给运营支持团队。
• 协作
* 与数据架构师密切合作，制定摄取模式和标准。
* 与数据保证负责人协调，在所有作业中应用质量检查。
* 与平台工程师合作进行工具和优化。
要求
您将具备以下经验：
• AWS Glue、PySpark和ETL管道开发；
• 对Lakehouse架构和Medallion设计原则的深入了解；
• 熟悉CDC、增量加载和历史数据摄取策略；以及；
• 5年以上数据工程角色经验，并具有AWS Glue的实际操作经验。
您还应具备以下知识：
• AWS服务：Glue、S3、Athena、Lambda；
• Git、Terraform用于CI/CD自动化；
• 数据质量框架（例如，Soda Core）；
• 识别自动化工作/重复任务的方法；
• 在快节奏环境中工作并实现积极的迁移目标；
• 与不同利益相关者层级的协作和沟通；以及；
• 使用Jira和敏捷工作方式。
作为一家AI咨询公司，我们最大的资产是我们员工的专业知识。
虽然技术掌握是我们工作的基础，但能够弥合复杂数据科学与可操作的业务价值之间的差距是您在Deeplight取得成功的关键。
我们正在寻找不仅在其专业领域内世界一流的个人，还能成为引人注目的沟通者和自身技能的有力倡导者。
您将成为我们公司的代表，负责建立信任，阐明您技术决策背后的“原因”，并有效地向高层利益相关者“推销”您的愿景。
如果您在展示尖端解决方案的挑战中如同在构建它们时一样充满活力，您将非常适合这个职位。
福利
福利与成长机会：
• 具有竞争力的薪水和绩效奖金
• 综合健康保险
• 职业发展和认证支持
• 参与尖端AI项目的机会
• 灵活的工作安排
• 在快速发展的AI公司中获得职业晋升机会
这个职位提供了一个独特的机会，可以在与一支处于技术创新前沿的专业团队合作的同时，塑造AI实施的未来。成功的候选人将在推动我们公司成功交付变革性AI解决方案给客户方面发挥关键作用。
在DeepLight AI，我们认识到多样性推动创新。我们致力于营造一个包容的环境，使具有不同思维风格的个人能够茁壮成长，并为我们的专业AI和数据解决方案贡献他们独特的优势。
我们的目标是确保我们的申请和面试过程对所有候选人都是可访问的、可预测的和公平的。
如果您在申请过程中需要任何特定调整，或者如果您在进入面试阶段时需要任何合理调整，请告知我们。这些信息将严格保密，并不会影响招聘决定。
