职位描述
理想技能:
- Microsoft Azure
- Databricks
角色描述:
- 对Azure基础设施有扎实的理解(订阅、资源组、资源、RBAC访问控制、Azure AD集成、网络概念、密码凭证、密钥管理和数据保护)。
- 熟练掌握Azure Databricks、Azure数据工厂(ADF)、Azure数据湖存储(ADLS)、Synapse无服务器专用Spark池、Python、PySpark和T-SQL。
- 具备在Azure数据工厂和Azure Databricks中设计和开发ETL流程和自动化脚本的经验。
- 精通Git、Jenkins和DevOps流程,以维护和解决生产中数据管道的问题。
- 了解通过Terraform实施Azure技术和网络的知识,并有能力解决生产中Azure基础设施的问题。
- 对数据建模、数据集市、数据湖仓架构、缓慢变化维度(SCD)、数据网格和增量湖有良好的理解。
- 对数据隐私和合规性法规有扎实的理解,并掌握保护客户数据的最佳实践。
所需经验:6-8年
要求
理想技能:
- Microsoft Azure
- Databricks
角色描述:
- 对Azure基础设施有扎实的理解(订阅、资源组、资源、RBAC访问控制、Azure AD集成、网络概念、密码凭证、密钥管理和数据保护)。
- 熟练掌握Azure Databricks、Azure数据工厂(ADF)、Azure数据湖存储(ADLS)、Synapse无服务器专用Spark池、Python、PySpark和T-SQL。
- 具备在Azure数据工厂和Azure Databricks中设计和开发ETL流程和自动化脚本的经验。
- 精通Git、Jenkins和DevOps流程,以维护和解决生产中数据管道的问题。
- 了解通过Terraform实施Azure技术和网络的知识,并有能力解决生产中Azure基础设施的问题。
- 对数据建模、数据集市、数据湖仓架构、SCD、数据网格和增量湖有良好的理解。
- 对数据隐私和合规性法规有扎实的理解,并掌握保护客户数据的最佳实践。
所需经验:6-8年