工作目标
管理跨4个环境（SIT、UAT、PROD和DR）的Hadoop集群
关键职责
· 设计、开发和实施数据处理流水线，处理大量结构化和非结构化数据
· 应具备良好的数据库和Hadoop（Hive、Impala、Kudu）知识和工作经验。
· 应具备使用脚本编写（Shell脚本、awk编程、快速自动化集成任何第三方工具）、BMC监控工具的知识和工作经验。
· 具备使用行业标准数据模型（如FSLDM）进行数据建模的良好理解和知识
· 与数据工程师、数据科学家和其他利益相关者合作，了解需求并将其转化为技术规范和解决方案
· 最好具备使用No SQL以及虚拟化数据库环境的经验
· 使用Spark RDD、DataFrames和Datasets实现数据转换、聚合和计算，并将其与Elasticsearch集成
· 开发和维护可伸缩且容错的Spark应用程序，遵循行业最佳实践和编码标准
· 解决与Spark-Elasticsearch集成相关的数据处理、性能和数据质量问题
· 监控和分析作业性能指标，识别瓶颈，并提出Spark和Elasticsearch组件的优化建议
· 具备使用ETL、Hadoop开发银行应用程序的先前经验。必须深入了解全球银行的技术栈。
· 灵活性和接受挑战的能力
· 沟通和人际交往能力
· 学习和执行的态度
关键要求
· 在开发Hadoop/Spark方面具有丰富经验。
· 在数据湖（将不同数据源集成到数据湖中）方面具有丰富经验
· SQL存储过程/查询/函数
· Unix脚本编写
· 数据架构（Hadoop）
· 对数据建模、索引策略和查询优化有扎实的理解
· 具备分布式计算、并行处理和处理大型数据集的经验
· 熟悉Hadoop、Hive和HDFS等大数据技术
· 在Control-M中进行作业调度
· 具备解决复杂问题的强大解决问题和分析能力
· 熟悉版本控制系统（例如Git）和协作开发工作流程
· 出色的沟通和团队合作能力，能够在跨功能团队中有效工作 
新加坡