高级大数据工程师,具备Azure和Snowflake全职远程工作

15个月前远程全职
Dice

Dice

location 芝加哥
unsaved
Dice是每个阶段的技术专家的领先职业目的地。我们的客户Caprus IT Inc.正在寻找以下职位。立即通过Dice申请! 你好 职位标题:高级数据工程师-美国远程 薪资范围最高可达12-13万美元 也可以远程加拿大 也接受H1-B转移,可以在收据号上开始 美国远程 供应商:Qualitest 经验10-15年 职位描述: 高级数据工程师将成为数据工程团队的一员,负责开发和部署工程和集成解决方案。主要职责是与数据架构师和机器学习团队密切合作,使用大数据和云技术为组织实施数据解决方案,并创建技术规范文档和测试计划。还要为企业的数据解决方案提供支持。 工作角色和职责: •了解业务流程及其在各种系统中的建模方式 •与业务用户、技术团队和高管合作,了解他们的数据需求,并为其提供创新解决方案 •设计、组织和实施数据结构、工作流程和企业平台之间的集成,以确保业务流程的准确和及时执行。 •开发和维护可扩展的数据管道,并构建新的API集成,以支持数据量和复杂性的持续增加。 •引导数据集成/工程决策和建立最佳实践,以及我们数据基础设施的未来 •管理和改善我们的数据库、查询、工具和解决方案的性能 •创建和维护数据仓库、数据库、表、SQL查询和摄取管道,以支持报告(Tableau)、仪表盘、预测模型和下游分析 •编写复杂高效的查询,将原始数据源转换为易于访问的模型,供我们的团队和报告平台使用 •为预测和规定建模准备数据 •识别和分析数据模式 •找出改善数据可靠性、效率和质量的方法 •与分析、数据科学和更广泛的工程团队合作,帮助自动化数据分析和可视化需求,提供建议以填充数据模型的转换过程,并探索设计和开发数据基础设施的方法 •其他指派的职责 工作范围:该职位独立工作,依靠判断和经验完成工作职责。该职位拥有该领域内实践和程序的广泛知识,并为经验较少的团队成员提供资源。工作内容多样且复杂。 工作要求(教育、经验和培训): •计算机科学、信息技术或类似相关领域的学士学位。 •优先考虑至少5年的数据工程经验。 •至少3年的面向对象编程(OOP)、SQL、模式设计、数据建模、设计、构建和维护数据处理系统的经验 •熟练使用Python等面向对象/函数脚本的高级分析工具,以及其他大数据技术。 •具有设计、构建和管理数据管道的能力,包括数据转换、数据模型、模式、元数据和工作负载管理。 •能够与IT和业务部门合作,将分析和数据科学的输出集成到业务流程和工作流程中。 •使用SQL、SPARK、PL/SQL和SnowSQL进行数据库开发,并具有使用Hadoop、MongoDB等各种关系型、NoSQL导向数据库的经验。 •在Azure Data lake、Azure Data Factory、DBT上使用数据整理/聚合/准备,并利用Azure和Snowflake/Databricks进行数据转化,提取有意义的洞察力 •具有Snowflake数据仓库经验,并在Snowflake、SnowSQL、Snowpipe和存储过程上开发应用程序。 •具有Informatica ETL产品或IDMC经验者优先考虑 •在解决数据问题、分析端到端数据管道以及与业务用户合作解决问题方面具有丰富经验。 •在与数据治理/数据质量和数据安全团队以及特定的数据监管者和安全官员合作方面具有经验,以便按照适当的数据质量、治理和安全标准和认证将数据管道投入生产。 •熟悉敏捷方法,并能够将DevOps和越来越多的DataOps原则应用于数据管道。 •具备使用Docker、Kubernetes等容器化的经验。 人际交往能力: •灵活的学习者,具有强大的解决问题的能力,并喜欢作为技术跨职能团队的一部分解决复杂的数据问题 •能够优先处理和处理多个项目和请求 •在识别数据关系、趋势和异常时具有高度关注细节的能力。 •思考关键设计决策的长期影响,并处理故障场景。 •出色的口头、书面和沟通能力 •能够有效地分享技术信息,向各级业务沟通技术问题和解决方案 •能够满足严格的截止日期,处理多个任务,并能够在压力下工作 谢谢和问候 . . . . ? Manoj Kumar高级技术招聘经理 D: | Caprus IT Inc.,3001 Dallas Parkway Suite#650,Frisco,TX 75034 T:844 6 CAPRUS | F:844 9 CAPRUS | 具备Azure和Snowflake技能的高级大数据工程师,全职远程