设计、开发和实施Spark Scala应用程序和数据处理管道，处理大量的结构化和非结构化数据
• 将Elasticsearch与Spark集成，实现数据的高效索引、查询和检索
• 优化和调整Spark作业的性能和可扩展性，确保在Elasticsearch中进行高效的数据处理和索引
• 与数据工程师、数据科学家和其他利益相关者合作，了解需求并将其转化为技术规范和解决方案
• 使用Spark RDDs、DataFrames和Datasets实现数据转换、聚合和计算，并将其与Elasticsearch集成
• 开发和维护可扩展和容错的Spark应用程序，遵循行业最佳实践和编码标准
• 解决与Spark-Elasticsearch集成相关的数据处理、性能和数据质量问题
• 要求
1. 5年以上数据工程师经验
2. 5年以上Spark、Scala、Elasticsearch经验
3. 开发和维护可扩展和容错的Spark应用程序，遵循行业最佳实践和编码标准
4. 监控和分析作业性能指标，识别瓶颈，并提出Spark和Elasticsearch组件的优化建议
5. 持续关注大数据技术领域的新趋势和进展，以确保持续改进和创新 
悉尼