概述
Hadoop管理员
客户：a2c/摩根士丹利
地点：乔治亚州阿尔法雷塔（现场）
描述：每周混合3天现场
Databricks运营是Hadoop支持团队的一部分。该团队负责管理摩根士丹利全球范围内的Databricks平台。在敏捷交付（Scrum/Kanban/Scrumban）/ DevOps方法论下工作。支持应用开发团队，帮助他们调试和修复问题。
该团队的职责和活动包括但不限于：
• 构建、升级和维护具有多个节点的Hadoop集群。
• 监控和故障排除运行在Hadoop集群上的服务。
• 性能调优。
• 设置备份和恢复。
• 解决用户问题，包括用户入职、作业失败等。
• 安装和集成新服务到Hadoop集群。
• 与供应商合作讨论/应用问题错误、补丁和问题。
• 使用Ansible脚本部署和自动化实施/修复。
• 具有DataBricks管理方面的实践经验，最好是在Azure上。
• 在Azure/AWS/GCP云中具有Databricks管理方面的支持角色经验。
• 出色的git和Jenkins知识。了解分布式系统和数据库、云计算环境 - Azure/Linux（必备技能）
• 对Docker和Kubernetes概念有一般了解
• 在Azure堆栈（Azure Data Lake、Azure Data Factory、Azure Databricks）上具有实践经验
• 对其他Azure服务（如Azure Data Lake Analytics和U-SQL、Azure SQL DW）有良好的理解
• 具有分析和解决问题的能力，尤其是在大数据环境中应用的能力。
• 在敏捷交付（Scrum/Kanban/Scrumban）/ DevOps方法论下工作。
• 使用IaC（terraform + azure DevOps）部署Azure Databricks工作区
资格：
• 有Cloudera Hadoop分发CDH 6.x和CDP 7的经验者优先。
• 有添加和删除节点、启用高可用性、安装服务、应用补丁等集群维护任务的经验。
• Unix/Linux知识，包括理解硬件、操作系统和网络设置的能力。
• 有包括HDFS、YARN、Hive、Impala、Spark、Sqoop、Kafka、Flume和Solr在内的Hadoop生态系统组件的经验。
• Unix Shell、perl或python脚本编写能力。
• 有Kerberos和LDAP集成经验。
• 了解TLS/SSL证书知识以实现跨Hadoop服务的加密。
• 在Azure/AWS/GCP上有一些Databricks开发经验
• 具备Python的一些开发技能
• 对于IaaC有一些Terraform经验
Vijay Bhaskaran
(925)233-3001
vijay@flexontechnologies.com
www.linkedin.com/in/vijay-bhaskaran
www.flexontechnologies.com
https://www.flexontechnologies.com/copy-of-flex-ehr-3
Flexon Technologies是一家领先的端到端技术解决方案提供商，为IT和非IT行业提供服务。我们专注于提供涵盖技术和服务的“全方位解决方案”，结合无与伦比的领域知识，为客户提供独特的优势。
我们提供集成的业务解决方案，使客户能够以更高效、更具响应能力地优化业务。我们的产品旨在满足客户的整个技术需求范围。我们提供端到端解决方案，可以构建、管理和支持客户的IT系统，涵盖整个价值链基础设施、应用程序和业务流程。我们的产品范围涵盖软件（包括系统和应用程序软件开发、实施、维护和框架）、IT架构、网络咨询、人员配备等。这些技术产品以领域解决方案和知识为支撑，确保最大程度地实现业务对IT投资的对齐，使您能够从IT投资中获得最大的利益。 
芝加哥