职位名称：Databricks 架构师
ShyftLabs 是一家快速发展的数据产品公司，正在寻找一位经验丰富的专业人士，领导使用 Databricks 统一分析平台的大数据解决方案的设计和开发。
此角色要求在 Apache Spark、SQL、Python 和云平台（AWS/Azure/GCP）方面具有深厚的专业知识。理想的候选人将与跨职能团队合作，架构可扩展的高性能数据平台。
主要职责：
• 在 Databricks 平台上设计、开发和优化大数据和 AI/ML 解决方案。
• 开发高可扩展性的 ETL 流水线以处理大型数据集。
• 领导 Apache Spark 在分布式数据处理和实时分析中的应用。
• 定义并执行数据治理、安全政策和合规标准。
• 优化数据湖屋架构以提高性能、可扩展性和成本效率。
• 与数据科学家、分析师和工程师合作，以支持 AI/ML 驱动的洞察。
• 监督和排除 Databricks 集群、作业和性能瓶颈。
• 使用 CI/CD 流水线和基础设施即代码实践自动化数据工作流。
• 确保所有数据流程中的数据完整性、质量和可靠性。
要求：
• 计算机科学、数据工程或相关领域的学士或硕士学位。
• 8 年以上数据工程的实践经验，其中至少 5 年在 Databricks 架构师和 Apache Spark 方面。
• 精通 SQL、Python 或 Scala 进行数据处理和分析。
• 在云平台（AWS、Azure 或 GCP）上有广泛的数据工程经验。
• 对 ETL 框架、数据湖和 Delta Lake 架构有深入了解。
• 具有 CI/CD 工具和 DevOps 最佳实践的实践经验。
• 熟悉数据安全、合规和治理最佳实践。
• 在快节奏环境中具有较强的问题解决和分析能力。
优先资格：
• Databricks 认证（例如：Databricks 认证数据工程师、Spark 开发者）。
• 具有 MLflow、特征存储或 Databricks SQL 的实践经验。
• 接触过 Kubernetes、Docker 和 Terraform。
• 具有流数据架构（Kafka、Kinesis 等）的经验。
• 对商业智能和报告工具（Power BI、Tableau、Looker）有深入理解。
• 之前在零售、电子商务或广告技术数据平台工作过的经验。
在 ShyftLabs，我们热衷于提供数字解决方案，通过创新创造价值，加速各行业的业务增长。 
多伦多