Hadoop管理员/开发人员

14个月前全职
10K SGD Power IT Services

Power IT Services

location 新加坡
unsaved
**关于我们** 我们为一线跨国客户提供招聘服务和IT咨询服务,涵盖以下主要领域,但不限于银行、金融服务和保险、零售、航空、汽车、能源和消费品行业。 • **关于客户** 我们的客户是一家一线系统集成商,是提供IT服务、咨询和业务解决方案的全球领导者。我们的客户与全球最大的企业合作已有50年之久。我们的客户相信创新和集体知识可以以更大的目标改变我们的未来。 • **关于机会** • **职位**: **Hadoop管理员/开发人员** • **经验**: 6-9年** • **地点: 新加坡** • **Hadoop管理员职责**: - 安装、配置和维护Hadoop集群,确保其可用性、性能和安全性。 - 监控和排除Hadoop集群性能问题,解决任何问题或中断。 - 实施和执行安全措施和访问控制,以保护Hadoop集群和数据。 - 与跨职能团队合作,计划和执行Hadoop集群升级、补丁和迁移。 - 管理和优化Hadoop集群中的数据存储和保留策略。 - 实施和维护Hadoop集群的备份和恢复程序。 - 了解最新的Hadoop技术、工具和最佳实践,并推荐改进以提高集群性能和效率。 - 为终端用户提供关于Hadoop集群使用和管理的培训和支持。 • **Hadoop开发人员职责**: - 与数据科学家和分析师合作,了解数据需求并开发数据处理解决方案。 - 在Hadoop中设计和实施数据摄取过程、数据转换和清洗工作流以及数据加载机制。 - 在Hadoop中开发和维护数据模型和模式,确保数据的兼容性和一致性。 - 通过代码和配置调优,优化Hadoop作业性能。 - 使用Hadoop生态系统工具(如MapReduce、Hive、Pig、Spark或HBase)开发和维护数据处理脚本和工作流程。 • **要求**: - 在Hadoop管理员、Hadoop开发人员或类似角色中有经验。 - 对Hadoop生态系统组件(如HDFS、MapReduce、Hive、Pig、Spark或HBase)有深入了解。 - 熟练掌握Hadoop集群的管理和维护,包括安装、配置和性能调优。 - 有使用Python或Shell脚本等脚本语言进行Hadoop管理和开发任务的经验。 - 熟悉Hadoop中的数据摄取、数据转换和数据加载技术。 - 在Hadoop环境中了解数据建模和数据库概念。 - 具备解决问题和分析的能力,能够解决复杂的与Hadoop相关的问题。 - 优秀的沟通和人际交往能力,能够与各个层面的利益相关者有效合作。 • **薪资**: 每月高达10,000.00美元 工作时间: - 日班 工作地点: 现场