职位描述:
• 使用PySpark和相关技术开发、测试和维护数据处理应用程序和管道。
• 从多个来源进行数据提取、转换和加载(ETL)到目标系统。
• 确保数据工作流中的数据质量、一致性和性能。
• 参与代码审查、文档编写和数据流程的持续改进。
• 排查和解决数据处理和集成环境中的问题。
• 支持生产环境中数据解决方案的部署、监控和维护。
要求:
• 1-3年Python经验,包括数据结构、算法和数据操作库(如Pandas)。
• 深入理解Apache Spark及其架构和组件(RDDs、DataFrames、Datasets)。
• 熟练掌握SQL进行数据查询和操作。
• 具备使用PySpark进行ETL(提取、转换、加载)过程的经验。
• 能够分析和解释复杂的数据集并得出见解。
• 具备强大的分析能力以排查数据处理管道中的问题。
• 良好的英语和粤语口语及书写能力,会普通话者优先。
点击“立即申请”申请此职位或致电+852 3180 4977联系Stella Tang进行保密讨论。所有收集的信息将严格保密,仅用于招聘目的。