数据运维工程师(Databricks)

16个月前全职
CHEP

CHEP

location 多伦多
unsaved
CHEP帮助将更多的货物运送到更多的人,覆盖更多的地方,比地球上任何其他组织都多,通过我们的3亿个托盘、板条箱和容器。我们雇佣了11,000名员工,在55个以上的国家开展业务。通过我们开创性和可持续的共享和再利用商业模式,全球最大的品牌信任我们能够帮助他们更高效、更安全、更环保地运输货物。 这对你意味着什么?你将加入一个国际组织,足够庞大,可以带你去任何地方,但又足够小,可以更快地让你到达目的地。你将帮助改变商品的市场流通方式,并为全球可持续发展做出贡献。你将被授权在工作中展示真实的自我,并被多样化和积极进取的专业人士所包围。通过我们的混合工作模式,你可以最大程度地实现工作与生活的平衡和灵活性。 职位描述 我们的目标是通过为全球数据和分析生态系统奠定全球数据运维的基础,支持Brambles的数字化转型,提供高性能、成本效益和可靠的数据管道。 您将在我们的新Databricks平台上工作,该平台用于数据科学和机器学习、数据工程和分析。和世界上其他企业一样,我们甚至正在构建私有的RAG-LLM架构。我们需要您的帮助来使用Terraform等工具管理我们的平台配置,确保高可用性,优化我们的管道性能,管理我们的计算成本,并支持我们的新用户群体。您还可以实施和管理我们的新数据可观察性能力。工作范围广泛多样,我们将投资于您的发展和培训,使您的现有Databricks、IaC或MLOps经验更加深入和广泛。 作为一名数据运维工程师,您将成为我们的Databricks团队的核心成员,他们将开发和实施用户、集群和统一目录治理方案和流程。他们将实施各种CI/CD流程,包括帮助推动我们的持续和自动化测试计划的启动。 该职位将与我们的云工程团队密切合作,确保我们的环境管理采用统一的方法。一些工作可能在云工程团队的指导下进行。 该职位主要关注AWS上的Databricks,但也需要了解以下内容: • Databricks环境与MLFlow等MLOps框架的交互。 • 数据和分析生态系统中的其他平台,如Thoughtspot、Salesforce和PowerBI。 职责 • 使用Terraform实施和维护我们的Databricks环境和相关系统的基础设施即代码(IaC)。 • 通过Terraform和CI/CD流程管理Databricks的凭据和密钥。 • 与我们的数据科学、云工程和数据工程团队合作,使Databricks环境与应用需求保持一致。 • 与数据科学家和机器学习工程师合作,确保数据模型和管道的性能最佳。 • 支持开发和维护平台的强大高可用性流程。 • 定期进行火灾演习和测试,验证我们恢复解决方案的有效性。 • 与数据安全团队合作,确保我们的部署符合Brambles的安全标准。 • 支持集群策略治理框架的实施。 • 支持和维护综合应用标记流程的实施。 • 管理依赖项和开源库,识别漏洞、不兼容或过时的版本。 经验 • 至少五年的数据工程、IaC或MLOps经验。 • Databricks管理和Terraform经验。使用Databricks作为DS或DE是有用的经验,但我们真正寻找的是Databricks管理经验。 • 理解MLOps框架和实践。 • 熟悉基于云的服务和工程。 技术技能 • Databricks。 • Terraform。 • MLFlow。 • Jenkins、Gitlab或Travis CI等CI/CD工具。 • 容器化和编排。 • 版本控制。 • 环境管理和虚拟化。 • 监控和日志记录。 • API集成。 • Python、Bash或Powershell等脚本和编程语言。 个人技能 • 强大的分析和解决问题的能力。 • 能够向非工程人员展示结果。 • 在需要时能够在详细级别操作,同时在高级管理层产生影响力和建立信誉。 • 出色的沟通、关系建立、利益相关者管理和影响能力。 首选教育背景 学士学位 首选工作经验水平 3 - 5年 我们是一个机会均等的雇主,我们致力于发展一个多样化的员工队伍,每个人都能公平对待,受到尊重,并有机会为业务成功做出贡献,实现自己的潜力。这意味着发挥每个人独特的技能和经验,我们不会因为种族、肤色、性别、年龄、国籍、宗教、性取向、性别认同、退伍军人身份、残疾或任何其他受到联邦、州或地方保护的群体的原因而歧视任何员工或申请人。 冒充Brambles或CHEP代表的个人以安排面试并提供虚假的就业机会,以实施身份盗窃或索取金钱。Brambles和CHEP从不通过在线聊天进行面试,也不要求金钱作为就业条件。如果您对面试或工作机会的真实性有疑问,请通过recruitment@brambles.com与我们联系。