角色概述
我们正在寻找一位经验丰富的Databricks运营与实施工程师，负责在Databricks环境中设计、实施和管理高性能数据管道和运营流程。理想的候选人将结合Databricks、Apache Spark和AWS云的深厚技术专长与强大的运营纪律，确保平台的稳定性、治理和持续优化。
主要职责
实施
• 设计、构建和优化ETL/ELT管道，利用Databricks的本地功能处理大规模的结构化和非结构化数据集。
• 使用Databricks的内置功能实施数据质量框架和监控解决方案，以确保数据的可靠性和一致性。
• 在Databricks环境中建立治理、安全和合规最佳实践，并与企业系统集成。
运营管理
• 监控和维护生产数据管道，以确保99.9%的正常运行时间和最佳性能。
• 使用Databricks和企业工具实施日志记录、警报和监控解决方案。
• 执行集群健康检查、资源利用率审查和性能调优，以防止瓶颈。
• 管理Databricks管道故障的事件响应，包括根本原因分析和解决方案。
• 为关键数据资产制定和维护灾难恢复和备份策略。
• 对Spark作业和Databricks集群进行成本和性能优化。
• 为Databricks管道实施自动化测试框架（单元测试、集成测试和数据验证测试）。
• 维护详细的运行手册、操作文档和故障排除指南。
• 协调系统升级和维护窗口，尽量减少业务中断。
• 管理Databricks中的用户访问、工作区配置和安全控制。
• 使用Databricks Unity Catalog监督数据血缘和元数据，以确保透明度和合规性。
• 对Databricks基础设施和工作负载进行容量规划和成本预测。
协作与领导
• 为团队成员提供关于Databricks最佳实践和数据工程技术的技术指导。
• 参与生产系统的待命轮班，确保平台稳定性。
• 领导运营审查并为平台可靠性的持续改进贡献力量。
• 与基础设施和安全团队合作，进行集群配置、网络和访问控制。
要求 / 资格
教育与经验
• 计算机科学、计算机工程或相关领域的学士学位。
• 8-10年的系统运营、数据平台管理或云操作经验。
• 在Databricks平台上有实际项目经验（主要要求）。
• 在云操作或架构方面有证明的经验（优先考虑AWS）。
• 需要AWS云认证；高度优先考虑Databricks认证。
核心技术技能
• 精通Databricks平台管理、工作区管理、集群配置和作业编排。
• 在Databricks中对Apache Spark（Spark SQL、DataFrames、RDDs）有深入的专业知识。
• 在Delta Lake（ACID事务、版本控制、时间旅行）方面有丰富经验。
• 在Databricks Unity Catalog中进行元数据管理和数据治理的实际经验。
• 对数据仓库、数据分析、验证和分析概念有全面理解。
• 对监控、事件管理和云成本优化有深入了解。
技术栈暴露
• Databricks（核心平台专业知识）。
• AWS云服务与架构。
• Informatica数据管理云（IDMC）。
• Tableau用于报告和可视化。
• Oracle数据库管理。
• 在Databricks中的ML Ops实践（优势）。
• 熟悉STATA、Amazon SageMaker和DataRobot集成（可加分）。
如果您对这个职位感兴趣并希望进一步讨论机会，请立即申请或通过电子邮件联系Chew Kai-Xinn以获取更多信息。
只有入围候选人才会得到回复，因此如果您在14天内未收到回复，请接受此通知，说明您未被入围。
摩根麦金利人才解决方案
摩根麦金利私人有限公司EA执照编号：11C5502
EAP注册编号：R2196712
EAP名称：Chew Kai-Xinn 
