数据工程师顾问- Azure

无个税16个月前合同
athgadlang

athgadlang

location 阿布扎比
unsaved
aG Resources正在寻找数据工程师顾问,为我们的知名客户提供服务。地点:阿布扎比合同:6个月(可延长)资格和经验:IT /计算机科学/计算机工程学学士学位。至少7年相关的数据分析和BI解决方案经验。Azure认证(数据跟踪)ex(dp-900,pl-200,DA-100)。在基于Azure的数据平台中具有经验,主要是Azure Data Factory,Azure SQL和Azure Synapse。具有Power BI和Cognos的经验。所需的软件/工具经验:广泛的核心Azure数据云服务经验:Data Factory,SQL DW,Azure Data Lake,Analysis Services,Databricks,Cosmos DB。具有关系型SQL和NoSQL数据库的经验,包括以下一些:SQL DW,SQL,Database,SQL Server,Cosmos DB和Snowflake。具有大数据工具的经验:Hadoop,Spark,Databricks。具有数据管道和工作流管理工具的经验:SSIS,Data Factory,Talend,Informatica等。具有流处理系统的经验:Kafka,Azure Event Hub,Azure IoT Hub,Storm,Spark-Streaming等。具有面向对象/函数脚本语言的经验:Python,Java,C ++,Scala,C#等。具有数据可视化工具的经验,主要考虑Power BI和Tableau。DevOps / DataOps和CI / CD框架。对机器学习和人工智能的知识。具有数据血统工具和数据清洁工具的经验。一般职责:设计和维护云端、本地和混合数据平台架构。识别、设计和实施完整的数据仓库和大数据解决方案。设计和维护用于批处理和实时处理的最佳数据管道架构。识别、设计和实施流程改进:自动化手动流程、优化数据交付、重新设计基础架构以提高可扩展性等。在与技术和业务利益相关者一起面向客户的环境中工作,以协助处理与数据相关的需求。通过生产力和协作工具(如DevOps和JIRA)管理团队成员的工作负载。定期进行团队成员的工作审查和指导。向项目经理提供定期有效的进展更新,并密切合作以确保管理任何交付风险或问题。负责做出关键决策,以确保所有计划的成功实施。为业务发展团队提供解决方案设计、预算和高级时间表的贡献和支持。职位特定职责:在实施现代数据平台解决方案方面具有丰富的实践经验。在动态环境中支持和与跨职能团队合作的经验。能够领导数据项目并与业务利益相关者清晰沟通。能够在没有监督的情况下高效工作。具有高级SQL和Python知识,并具有与关系型和非结构化数据库一起工作的经验,包括查询编写(SQL)和Pyspark,以及对各种数据库的工作熟悉。具有构建和优化数据管道、架构和数据集的经验。具有对内部和外部数据和流程进行根本原因分析以回答特定业务问题并找到改进机会的经验。构建支持数据转换、数据结构、元数据、依赖关系和工作负载管理的流程。数据治理的技术方面,包括术语表、元数据、数据质量、主数据管理和数据生命周期管理。安全性、身份验证和授权。在敏捷/Scrum环境中工作的经验。具有Azure Devops或其他Devops实践的经验。构建和维护数据湖的经验。构建和维护Azure Data Lakes和Synapse Azure环境的经验。具有数据血统和数据清洁工具的经验-首选CluedIn。职位类型:合同#J-18808-Ljbffr