**关于我们**
我们为一线跨国客户提供招聘服务和IT咨询服务,涵盖以下主要领域,但不限于银行、金融服务和保险、零售、航空、汽车、能源和消费品行业。
• **关于客户**
我们的客户是一家一线系统集成商,是提供IT服务、咨询和业务解决方案的全球领导者。我们的客户与全球最大的企业合作已有50年之久。我们的客户相信创新和集体知识可以以更大的目标改变我们的未来。
• **关于机会**
• **职位**: **Hadoop管理员/开发人员**
• **经验**: 6-9年**
• **地点: 新加坡**
• **Hadoop管理员职责**:
- 安装、配置和维护Hadoop集群,确保其可用性、性能和安全性。
- 监控和排除Hadoop集群性能问题,解决任何问题或中断。
- 实施和执行安全措施和访问控制,以保护Hadoop集群和数据。
- 与跨职能团队合作,计划和执行Hadoop集群升级、补丁和迁移。
- 管理和优化Hadoop集群中的数据存储和保留策略。
- 实施和维护Hadoop集群的备份和恢复程序。
- 了解最新的Hadoop技术、工具和最佳实践,并推荐改进以提高集群性能和效率。
- 为终端用户提供关于Hadoop集群使用和管理的培训和支持。
• **Hadoop开发人员职责**:
- 与数据科学家和分析师合作,了解数据需求并开发数据处理解决方案。
- 在Hadoop中设计和实施数据摄取过程、数据转换和清洗工作流以及数据加载机制。
- 在Hadoop中开发和维护数据模型和模式,确保数据的兼容性和一致性。
- 通过代码和配置调优,优化Hadoop作业性能。
- 使用Hadoop生态系统工具(如MapReduce、Hive、Pig、Spark或HBase)开发和维护数据处理脚本和工作流程。
• **要求**:
- 在Hadoop管理员、Hadoop开发人员或类似角色中有经验。
- 对Hadoop生态系统组件(如HDFS、MapReduce、Hive、Pig、Spark或HBase)有深入了解。
- 熟练掌握Hadoop集群的管理和维护,包括安装、配置和性能调优。
- 有使用Python或Shell脚本等脚本语言进行Hadoop管理和开发任务的经验。
- 熟悉Hadoop中的数据摄取、数据转换和数据加载技术。
- 在Hadoop环境中了解数据建模和数据库概念。
- 具备解决问题和分析的能力,能够解决复杂的与Hadoop相关的问题。
- 优秀的沟通和人际交往能力,能够与各个层面的利益相关者有效合作。
• **薪资**: 每月高达10,000.00美元
工作时间:
- 日班
工作地点: 现场