数据工程师
Nuage正在寻找一位熟练且积极主动的AWS Databricks工程师,该工程师具有企业级经验,尤其是在金融领域有丰富经验。理想的候选人应具备Python编码和PySpark方面的专业知识,并加入我们充满活力的团队。作为数据工程团队的一员,您将在AWS Databricks平台上设计、实施和优化数据处理工作流中发挥关键作用。理想的工程师应具备云计算、数据工程和编程方面的扎实背景,尤其是在Python和PySpark方面。
职责:
• 使用PySpark开发和实施数据管道,处理大量结构化和非结构化数据。
• 使用Python编写高效可扩展的代码进行数据转换。
• 持续优化和改进数据处理工作流,提高性能。
• 将AWS Databricks与其他AWS服务和外部系统集成,以实现无缝数据流。
• 与数据科学家和分析师合作,确保数据处理解决方案与下游分析和报告工具的集成。
• 实施稳健的监控和警报机制,主动识别和解决问题。
首选技能:
• AWS认证的大数据专业。
• 熟悉版本控制系统(如Git)和CI/CD流水线。
• 熟悉数据工程和大数据处理的最佳实践。
• 具有专注于AWS Databricks、Python和PySpark的数据工程师经验。
• 熟练掌握Python编程技能,具备大数据处理方面的PySpark专业知识。
• 深入了解AWS服务,尤其是AWS Databricks、S3、Glue和IAM。
• 具备数据建模、ETL流程和数据仓库概念的经验。
必须拥有澳大利亚的全职工作权(至少是澳大利亚永久居民或澳大利亚公民)。
如果您在金融领域具有丰富的AWS Databricks经验,并且热衷于塑造数据工程的未来,并喜欢应对复杂的挑战,请申请这个令人兴奋的机会。
如需获取有关澳大利亚技术市场的更多信息,请随时关注我们的LinkedIn页面:Nuage Technology Group,或访问我们的网站www.nuagetg.io。