我们在纽约市的一位知名客户正在寻找一名AZURE数据工程师。
职位：Databricks工程师
纽约市混合办公
职责：
- 开发、优化和维护用于ETL和数据转换的Databricks笔记本。
- 设计和实施使用Databricks和Azure Data Factory的可扩展数据管道。
- 将分布式计算概念应用于大规模数据处理。
- 使用数据湖架构和Delta Lake进行可靠且高效的数据存储。
- 自动化数据质量检查、监控和日志记录。
- 集成来自多个云源的数据，如Azure Blob、Data Lake Storage和SQL/NoSQL数据库。
- 执行用于分析工作负载的数据建模和模式设计。
- 为Databricks笔记本和作业实施CI/CD管道。
- 管理Databricks中的工作区管理、集群管理和作业编排。
资格：
- 具有使用Databricks进行大规模数据处理和分析的经验。
- 熟悉云数据平台，最好是Azure。
- 了解数据工程最佳实践和分布式系统。
- 具有数据管道编排和自动化的经验。
