首席数据平台工程师 - Azure

纽约 20小时前全职 网络
面议
角色价值主张: 我们正在寻找一位经验丰富的首席数据平台工程师,需具备5年以上在Azure云上设计、构建、实施和管理数据、分析和MLOps平台的经验。将负责自动化基础设施,确保平台可靠性,优化成本,并支持数据工程、分析和机器学习工作负载。 主要职责: 平台架构与设计: 设计和架构可扩展、安全且具有成本效益的Azure数据、分析和MLOps平台 定义数据工作负载的云架构模式和最佳实践 为复杂的云基础设施创建技术规范和解决方案设计 评估并推荐新技术和工具以增强平台能力 基础设施自动化与管理: 使用Azure资源管理器(ARM)、Bicep或Terraform实施基础设施即代码(IaC) 开发和维护基础设施部署和应用交付的CI/CD管道 使用Azure DevOps、GitHub Actions或Jenkins等工具自动化配置管理 设计和实施自动化备份、灾难恢复和高可用性解决方案 数据平台运营: 部署和管理Azure数据服务,包括Azure数据工厂、Azure Synapse分析、Azure Databricks和Azure数据湖 实施数据治理、安全和合规框架 监控和优化数据管道性能和资源利用率 确保平台上的数据质量、数据沿袭和元数据管理 MLOps平台开发: 使用Azure机器学习、MLflow或类似平台构建和维护MLOps基础设施 实施模型部署、版本控制和监控解决方案 开发自动化的ML管道编排和模型生命周期管理 确保机器学习工作负载的可复现性和可扩展性 安全与合规: 实施包括身份和访问管理(IAM)在内的安全最佳实践 配置网络安全、加密和数据保护措施 确保符合法规要求(GDPR、HIPAA、SOX等) 进行安全评估和漏洞管理 成本优化与性能: 通过合理化和自动化监控和优化云资源成本 实施成本分配和费用分摊机制 数据处理和分析工作负载的性能调优 容量规划和资源预测 协作与支持: 与数据工程师、数据科学家和分析团队密切合作 为初级团队成员提供技术指导和指导 参与平台支持和事件响应的轮班待命 记录流程、程序和系统架构 基本业务经验和技术技能: 要求: 计算机科学、工程或相关技术领域的学士学位,或7年以上同等专业经验 云平台:5年以上Microsoft Azure经验,包括对Azure服务(Azure SQL、Cosmos DB、Azure数据工厂、Synapse、Databricks、数据湖、机器学习等)的深入了解 基础设施即代码:熟练掌握ARM模板、Bicep、Terraform或类似工具 容器化:具有Docker、Azure容器实例和Azure Kubernetes服务(AKS)经验 DevOps技能 CI/CD:具有Azure DevOps、GitHub Actions、Jenkins或类似平台的丰富经验 使用Azure DevOps Pipeline / Github actions自动化基础设施、应用部署。 编程:熟练掌握Python、PowerShell、Bash和/或其他脚本语言 监控与日志:具有Azure Monitor、日志分析、应用程序洞察或类似工具的经验 数据工程:了解数据管道编排工具(Databricks、Azure数据工厂) 软技能 优秀的问题解决和分析能力 较强的沟通和协作能力 能够在快节奏、敏捷的环境中工作 领导和指导能力 客户服务导向 优先考虑: 认证 Microsoft Azure解决方案架构师专家(AZ-305) Microsoft Azure DevOps工程师专家(AZ-400) Terraform助理或专业认证 具有多云环境(AWS、GCP)经验 MLOps 具有MLOps框架和工具(MLflow、Azure ML、Kubeflow)经验 了解机器学习生命周期和模型部署策略 GenAI经验优先 了解数据网格和现代数据架构模式 数据技术:具有SQL、NoSQL数据库、数据仓库和大数据技术经验 安全与合规:对云安全原则和最佳实践有深入了解 具有Azure Active Directory、RBAC和身份管理经验 了解数据隐私法规和合规要求 具有安全扫描和漏洞评估工具经验 具有流数据技术(Apache Kafka、Azure事件中心)经验 在金融服务、医疗保健或其他受监管行业的背景 具有敏捷/敏捷开发方法经验 在MetLife,我们正在引领我们长期定义的行业的全球转型。目标一致,视角多元,我们致力于改变客户的生活。 平等就业机会/残疾/退伍军人 如果您因残疾需要住宿,请通过accommodations@metlife.com与我们联系。此信息将保密,仅用于确定申请过程中的适当住宿。 MetLife保持无毒品工作场所。