数据工程师

15个月前全职
140K - 175K AUD Nuage Technology Group

Nuage Technology Group

location 悉尼
unsaved
数据工程师 Nuage正在寻找一位熟练且积极主动的AWS Databricks工程师,该工程师具有企业级经验,尤其是在金融领域有丰富经验。理想的候选人应具备Python编码和PySpark方面的专业知识,并加入我们充满活力的团队。作为数据工程团队的一员,您将在AWS Databricks平台上设计、实施和优化数据处理工作流中发挥关键作用。理想的工程师应具备云计算、数据工程和编程方面的扎实背景,尤其是在Python和PySpark方面。 职责: • 使用PySpark开发和实施数据管道,处理大量结构化和非结构化数据。 • 使用Python编写高效可扩展的代码进行数据转换。 • 持续优化和改进数据处理工作流,提高性能。 • 将AWS Databricks与其他AWS服务和外部系统集成,以实现无缝数据流。 • 与数据科学家和分析师合作,确保数据处理解决方案与下游分析和报告工具的集成。 • 实施稳健的监控和警报机制,主动识别和解决问题。 首选技能: • AWS认证的大数据专业。 • 熟悉版本控制系统(如Git)和CI/CD流水线。 • 熟悉数据工程和大数据处理的最佳实践。 • 具有专注于AWS Databricks、Python和PySpark的数据工程师经验。 • 熟练掌握Python编程技能,具备大数据处理方面的PySpark专业知识。 • 深入了解AWS服务,尤其是AWS Databricks、S3、Glue和IAM。 • 具备数据建模、ETL流程和数据仓库概念的经验。 必须拥有澳大利亚的全职工作权(至少是澳大利亚永久居民或澳大利亚公民)。 如果您在金融领域具有丰富的AWS Databricks经验,并且热衷于塑造数据工程的未来,并喜欢应对复杂的挑战,请申请这个令人兴奋的机会。 如需获取有关澳大利亚技术市场的更多信息,请随时关注我们的LinkedIn页面:Nuage Technology Group,或访问我们的网站www.nuagetg.io。