数据工程大数据开发人员(Hadoop/Scala/Spark)

14个月前全职
65 - 69 USD Dice

Dice

location 纽约
unsaved
Dice是每个阶段的技术专家的领先职业目的地。我们的客户,Pyramid Consulting, Inc.,正在寻找以下职位。立即通过Dice申请! 急需一位有才华的数据工程大数据开发人员(Hadoop/Scala/Spark)。这是一个09个月+可能延期的合同机会,具有长期潜力,并位于特拉华州纽卡斯尔(混合工作)。请查看下面的职位描述,并尽快与我联系,如果您有兴趣。 职位编号:24-07233 薪资范围:每小时65-69美元。员工福利包括但不限于医疗、牙科、视力保险、401(k)计划和带薪病假(根据工作地点而定)。 关键职责: • 这个角色是一个数据工程主管,负责维护和开发领先的大数据项目和用例,提供商业价值。 • Vanguard平台支持操作实时事件处理和计算应用,以及包括机器/深度学习在内的分析消费用例。 • 技术团队负责构建和维护多种应用,包括: • 实时摄取/流处理和数据分发通过大数据API构建规范模型和数据一致性实施最佳的数据管理和数据摄取。利用新的存储引擎,如Kudu,实现对快速变化数据的分析利用GPU实现高级机器学习增强数据科学和客户从业人员的自助能力。 • 这是一个实际开发角色,将提供对完整开发周期的接触,同时与我们的业务和技术利益相关者密切合作。 • 跨业务线进行分析和开发,包括支付、数字渠道、流动性、贸易交叉培训和施肥功能和技术知识,与工程卓越发展原则和标准保持一致。推广和提高我们的开发生产力评分,完全遵守并宣传全面的持续集成和持续部署流水线。 • 这个角色将为成功的个人在数据创新和架构组织中建立自己的个人资料提供职业机会。 • 它为机构客户银行提供了与业务密切合作提供增值数据解决方案的机会。 关键要求和技术经验: • 必须具备:熟练使用Hadoop生态系统(HDFS、MapReduce、Hive、Pig、Impala、Spark、Kafka、Kudu、Solr)进行开发,并使用JSON/XML/Hypermedia数据格式进行API开发和使用。 • 5年以上的Hadoop/大数据技术经验。 • 具有Spark/Storm/Kafka或等效的流处理/批处理和基于事件的消息传递经验。 • 有关关系型和NoSQL数据库集成和数据分发原则的经验。 • 熟练使用Hadoop生态系统(HDFS、MapReduce、Hive、Pig、Impala、Spark、Kafka、Kudu、Solr)进行开发。 • 有关API开发和使用JSON/XML/Hypermedia数据格式的经验。 • 强大的开发/自动化技能。 • 具有DevOps的各个方面经验(源代码控制、持续集成、部署等)。 • 3年以上Scala开发经验(具有以前的Java背景)。 • 具有容器化和相关技术(如Docker、Kubernetes)的经验。 • 全面了解软件工程和数据分析原则。 • 了解敏捷(Scrum)开发方法论者优先。 • Cloudera/Hortonworks/AWS EMR、S3经验者优先。 • 出色的学术记录,最好有良好的学位和数学或科学背景。 • 出色的沟通能力。 • 自我激励。 • 愿意学习。 • 出色的计划和组织能力。 我们的客户是领先的银行业公司,我们目前正在面试填补这个和其他类似的合同职位。如果您对这个职位感兴趣,请立即在线申请。