Hadoop 管理员

旧金山 12天前全职 网络
面议
你好,专业人士, 希望你们一切都好。 我是来自 Info Way Solutions, LLC 的 Jayaraman。我们有一个 Hadoop 管理员的职位空缺,详细的职位描述如下: 请查看职位描述并分享你的看法。 角色:Hadoop 管理员 地点:加利福尼亚州山景城 负责 Hadoop 基础设施的实施和持续管理。 负责集群维护、故障排除、监控,并遵循适当的备份和恢复策略。 提供和管理多个集群的生命周期,如 EMR 和 EKS。 使用 Prometheus/Grafana/Splunk 进行基础设施监控、日志记录和警报。 对 Hadoop 集群和 Hadoop 工作负载进行性能调优,并在应用程序/队列级别进行容量规划。负责内存管理、队列分配、分布,具备在 Hadoop/云环境中的经验。 应能够在生产环境中扩展集群,并具有 18/5 或 24/5 生产环境的经验。监控 Hadoop 集群的连接性和安全性,文件系统(HDFS)管理和监控。 研究和分析新的技术可能性、工具和技术,以减少复杂性,创建更高效和富有成效的交付过程,或创造更好的技术解决方案,提升商业价值。参与解决问题、根本原因分析(RCA),为基础设施/服务组件提出解决方案。 负责满足服务水平协议(SLA)目标,并协作确保团队目标的实现。 确保对生产系统的所有更改均按照变更管理流程进行计划和批准。 与应用团队协作,在需要时安装操作系统和 Hadoop 更新、补丁、版本升级。 维护所有系统、数据、利用率和可用性指标的中央仪表板。 理想候选人的标准是什么? 拥有 8-12 年的总经验,至少 5 年的 Hadoop 集群开发、维护、优化和问题解决的工作经验,支持业务用户。具备 Linux/Unix 操作系统服务、管理、Shell 和 awk 脚本的经验。 • 对至少一种编程语言(Python/Scala/Java/R)具有深入了解,并具备调试技能。 在 Hadoop(Map Reduce、Hive、Pig、Spark、Kafka、HBase、HDFS、H-catalog、Zookeeper 和 Oozie/Airflow)方面的经验。具备 Hadoop 安全性(Kerberos、Knox、TLS)的经验。具备 SQL 和 No SQL 数据库(HBASE)的实践经验,并进行性能优化。 在 GIT、Jira 平台的工具集成、自动化、配置管理方面的经验。 优秀的口头和书面沟通能力及演讲能力,分析和解决问题的能力。 谢谢与问候, Jayaraman 电子邮件: . @infowaygroup. com 直线电话:(925)-#-# 工作电话:(925)-#-# 分机 105 Info Way Solutions LLC | 46520 Fremont Blvd, Suite 614 | Fremont, CA - 94538