我们正在寻找一位熟练的专业人士，使用PySpark在Cloudera数据平台上设计和开发可扩展的数据管道。理想的候选人应在大数据生态系统、云原生工具和高级数据处理技术方面具有深厚的专业知识。
该职位要求在Cloudera数据平台上具有丰富的数据摄取、转换和优化经验。成功的候选人将与其他专业人士密切合作，构建推动有影响力的业务洞察力的解决方案。
除了使用PySpark设计可扩展的ETL管道外，职责还包括实施从各种来源（关系数据库、API、文件系统）到Cloudera生态系统的高效数据摄取过程。使用PySpark将大型数据集处理成支持分析需求的有意义格式也是关键，此外还需通过性能调优来优化资源利用。确保可靠和准确的管道性能监控也应由我们的团队成员全面覆盖。
必备技能：
