数据工程专家

16个月前全职
Westpac

Westpac

location 悉尼
unsaved
职位摘要 具有6-10年的实际数据工程经验,熟悉使用Python/Spark/Scala构建数据摄取、转换和传输框架 在Azure云/大数据技术上实施数据湖解决方案的工作经验 职位级别:中高级水平 职责 • 构建和维护数据摄取、转换和传输框架 • 在Azure云/大数据技术上实施数据湖解决方案 • 设计和优化数据仓库系统 • 进行数据分析、编目和映射,用于技术设计和数据流的构建 要求 • 具有6-10年的实际数据工程经验 • 熟悉Python、Spark和Scala • 在Azure云/大数据技术上实施数据湖解决方案的工作经验 • 在Azure、AWS或GCP上具有云计算经验 • 熟悉现代数据仓库设计模式和工具 • 理解数据架构原则和数据建模技术 • 能够调优Spark和Scala作业以提高性能 • 深入了解分布式计算系统 • 熟悉数据仓库概念 • 熟练掌握Hive、Hadoop、Yarn、Kafka、Spark Streaming等大数据工具/技术 福利待遇 • 职业发展机会 • 内部晋升机会 • 弹性工作制度 • 慷慨的带薪和无薪产假 • 获得银行、财富和保险福利 • 支持性和包容性的企业文化