Dice是技术专家在其职业生涯各个阶段的领先职业目的地。我们的客户，e-IT Professionals Corp.，正在寻找以下职位。今天通过Dice申请！
职位名称：Databricks架构师
地点：洛杉矶，加利福尼亚（混合办公）
薪资：$140K
Databricks架构师负责在Databricks Lakehouse平台上设计、实施和优化可扩展的数据分析和数据工程解决方案。此角色需要对云平台（Azure/AWS/Google Cloud Platform）、分布式数据处理、Delta Lake架构和现代数据工程实践的深入专业知识。架构师将与跨职能团队合作，定义数据策略，确保平台可靠性，并支持高级分析、机器学习和商业智能的使用案例。
主要职责
架构与设计
- 设计端到端的Databricks Lakehouse架构，用于数据的摄取、处理、存储和消费。
- 定义并实施Delta Lake模式，包括奖章架构（青铜/白银/黄金）。
- 使用PySpark、Spark SQL和Databricks工作流开发可扩展的数据管道。
- 为结构化、半结构化和非结构化数据设计解决方案。
工程与实施
- 使用Databricks笔记本、作业和工作流构建强大的ETL/ELT管道。
- 设计并实施高性能的流媒体解决方案，使用结构化流媒体。
- 优化Spark作业以降低成本、提高性能和可扩展性。
- 使用Databricks Repos、Git和DevOps管道实施CI/CD和自动化。
云与平台专业知识
- 在Azure/AWS/Google Cloud Platform上架构解决方案，利用本地云服务（例如，Azure Data Factory、AWS Glue、Google Cloud Platform Dataflow）。
- 通过Unity Catalog、RBAC和加密确保安全性、治理和合规性。
- 监控工作负载并优化集群配置以提高性能和降低成本。
协作与领导力
- 与数据工程师、数据科学家、BI团队和业务利益相关者密切合作。
- 作为Databricks最佳实践、标准和模式的主题专家（SME）。
- 进行架构审查并指导团队进行设计决策。
- 领导概念验证，评估新功能，并推动平台采用。
质量、治理与可观测性
- 定义数据质量、血缘、可观测性和治理的标准。
- 为管道和笔记本实施自动化测试框架。
- 建立性能基准和监控仪表板。
所需技能与经验
技术技能
- 7年以上数据工程/架构经验。
- 3年以上Databricks实际操作经验。
- 在Spark、PySpark、SQL和分布式数据处理方面具有强大的专业知识。
- 深刻理解Delta Lake功能：ACID事务、OPTIMIZE、ZORDER、自动加载器。
- 具有工作流编排、作业和Databricks REST API的经验。
- 至少掌握一个云平台的实际操作经验：
- Azure（优先）：ADF、ADLS、Key Vault、Event Hub、Azure DevOps
- AWS：S3、Glue、Lambda、Kinesis
- Google Cloud Platform：GCS、Dataflow、Pub/Sub
- 熟悉CI/CD、Git、DevOps和基础设施即代码（优先使用Terraform）。
软技能
- 强大的分析和问题解决能力。
- 出色的沟通和利益相关者管理能力。
- 能够引导设计讨论并指导技术团队。
- 强大的文档和架构蓝图技能。
优先资格
- Databricks认证，例如：
- Databricks认证数据工程师专业
- Databricks认证机器学习专业
- Databricks Lakehouse基础
- 具有MLflow、Feature Store或MLOps工作流的经验。
- 在受监管行业（BFSI、医疗保健等）工作的经验。
