数据工程师(Python,PySpark)

香港 6天前合同 网络
面议
职位描述: • 使用PySpark和相关技术开发、测试和维护数据处理应用程序和管道。 • 从多个来源进行数据提取、转换和加载(ETL)到目标系统。 • 确保数据工作流中的数据质量、一致性和性能。 • 参与代码审查、文档编写和数据流程的持续改进。 • 排查和解决数据处理和集成环境中的问题。 • 支持生产环境中数据解决方案的部署、监控和维护。 要求: • 1-3年Python经验,包括数据结构、算法和数据操作库(如Pandas)。 • 深入理解Apache Spark及其架构和组件(RDDs、DataFrames、Datasets)。 • 熟练掌握SQL进行数据查询和操作。 • 具备使用PySpark进行ETL(提取、转换、加载)过程的经验。 • 能够分析和解释复杂的数据集并得出见解。 • 具备强大的分析能力以排查数据处理管道中的问题。 • 良好的英语和粤语口语及书写能力,会普通话者优先。 点击“立即申请”申请此职位或致电+852 3180 4977联系Stella Tang进行保密讨论。所有收集的信息将严格保密,仅用于招聘目的。