Databricks 工程师

阿布扎比 无个税1天前全职 网络
面议
我们正在寻找一位拥有超过5年数据工程经验的Databricks工程师。理想的候选人需具备在Azure Databricks、PySpark、Python和SQL方面的强大实践能力,以进行大规模数据处理。 主要职责和资格包括: • 在Azure上构建端到端ETL/ELT管道的成熟经验,能够处理结构化和半结构化数据。 • 对Databricks Delta Lake有深入了解,包括Delta Live Tables (DLT)和流式管道(优先)。 • 对数据建模概念有扎实理解,包括缓慢变化维度(SCD)类型1和类型2的实现。 • 对Azure Data Factory (ADF)在编排和管道管理方面有良好的工作知识。 • 具备Medallion Architecture(青铜、白银、黄金层)和数据质量最佳实践的经验。 • 接触过AI/ML驱动的用例或分析工作负载是一个强大的优势;对Snowflake或迁移项目的知识或经验也是可取的。 地点:阿布扎比,阿布扎比酋长国,阿拉伯联合酋长国 工作条件:混合办公,全职