职位描述
职位名称：高级软件工程师
经验：8 - 11年
地点：旧金山/休斯顿
主要技能：
- 设置生产环境的Hadoop集群，优化配置
- 推动Hadoop部署、集群扩展和维护操作的自动化
- 管理Hadoop集群，监控警报和通知
- 部署升级、更新和补丁
- 为生产服务提供24x7的三级故障排除和修复支持
- 安装和配置问题的诊断
- 集群管理问题的诊断
- 性能问题的诊断
- 作业调度、监控、调试和故障排除
- 全面监控和管理集群，特别是可用性、性能和安全性
- 文件系统管理和监控
- 在Hadoop和其他数据存储（包括关系数据库）之间的数据传输
- 以流式或批处理模式将其他数据源导入Hadoop
- 启用和停用工作节点
- 配置集群以识别机架
- 设置高可用性/灾难恢复环境
- 调试/排除环境故障/停机问题
- 与数据交付团队合作，设置新的Hadoop用户。此工作包括设置Linux用户，设置Kerberos主体，并测试新用户的HDFS、Hive、Pig和MapReduce访问
- 设置Hadoop中的安全配置
- Hadoop集群和Hadoop Map Reduce例程的性能调优
- 管理和审查Hadoop日志文件
资格
工程学士，计算机应用硕士，硕士/研究生（优先IT/计算机科学）
附加信息
