向数据和分析负责人汇报,成功的候选人将负责以下工作:
数据管理与转换
设计和开发新的数据管道,并管理现有的数据管道,从各种业务应用程序、数据库和外部系统中提取数据。
在数据管道中实施数据质量检查和验证,以确保数据的准确性、一致性和完整性。
通过应用数据清洗、聚合、过滤和丰富技术,将数据转换为所需格式。
建立用于分析、分析应用程序和自动决策的数据和算法治理。
管理逻辑和物理数据模型,以捕捉相关数据集的结构、关系和约束。
确保遵循安全和治理最佳实践。
优化与自动化
实施和维护持续集成和持续交付管道,用于部署和云资源配置。
优化数据管道和数据处理工作流,以提高性能、可扩展性和效率。
根据数据质量、安全性、治理、性能和可扩展性需求优化模型和算法。
定期评估数据仓库和提取转换加载平台的处理器和存储容量,包括容量规划和预测。
监控和调整数据系统,识别和解决性能瓶颈、问题,并实施缓存和索引策略以提高查询性能。
监控平台的信用消耗和日常维护。
支持数据平台中AI解决方案的部署和维护。
协作
与数据负责人和业务用户合作,将数据管理为业务资产。
指导业务用户创建和维护报告和仪表板。
职位要求:
计算机科学、数据科学、软件工程、信息系统或相关定量领域的学士学位;硕士学位优先。
至少十年数据管理领域的工作经验,包括数据集成、建模、优化和数据质量,或其他与数据工程职责和任务直接相关的领域。
至少四年在Azure云服务和Databricks中设计和实施数据架构的工作经验。
精通Python(PySpark)和SQL编程;有Java或Scala经验者优先。
必须具备使用关系型和非关系型数据库的经验,包括SQL和NoSQL,而熟悉Oracle等遗留数据库者优先。
使用Azure DevOps、Databricks LakeFlow Jobs进行DevOps实践,包括版本控制、CI/CD和管道部署的经验。
使用数据目录工具的经验,包括Unity Catalog和Microsoft Purview。
熟悉BI和可视化工具,如Power BI和Python可视化包进行数据分析者优先。
有支持AI/ML模型部署、特征工程和生产推理经验者优先。
认同并展示BOC Aviation核心价值观,即诚信、团队合作、责任感、敏捷性和雄心。
显示更多 显示更少