高级大数据工程师（Java，Spark，Kafka）
大数据工程师，高级职位的工作内容
作为我们数据工程平台团队的经验丰富成员，您将负责在客户的企业数据商务解决方案部门中构建和负责成功设计和开发数据工程项目。
您需要将自己的深度知识和专业知识应用于数据工程生命周期的各个方面，并与您的众多利益相关者每天持续合作，以保持专注于共同目标。
您将在一个协作、信任、发人深省的环境中工作，鼓励思维多样性和以客户为中心的创造性解决方案。
您将领导大规模的数据工程、集成和数据仓库项目，使用API在基于云的系统之间构建自定义集成，并使用多种语言（如Java、Python和SQL）编写复杂高效的查询，将原始数据源转换为易于访问的模型。
其他职责包括但不限于：构建和推出提供直观分析的新数据模型，并建立数据专业知识并拥有您创建的数据管道的数据质量。
基本资格要求：
• 10+年行业经验
• 7+年大规模大数据应用程序开发经验
• 计算机科学或相关领域学士学位
• 在开发数据解决方案和构建框架方面提供技术领导力。
• 使用Azure、AWS等构建数据湖、企业数据仓库和数据应用程序的经验
• 云数据堆栈（首选Azure）的实践经验
• 理解集群和并行架构以及高规模或分布式关系型数据库，具备SQL经验
• 在Java等主要编程/脚本语言方面有实践经验
• 具备面向对象编程概念、多线程的Java经验
• 有在容器上部署代码的经验优先考虑。
• 进行代码审查，并努力提高软件工程质量。
• 在生产发布和基础设施配置方面有实践经验
• 具备使用Kafka、Spark成功交付大数据项目的实践经验
• 有使用Cassandra、HBase、DynamoDB和Elastic Search等NoSQL数据库的经验
• 有与PCI数据一起工作并与数据科学家合作的经验是一个加分项。
• 对设计原则和模式有深入了解
• 能够调整大数据解决方案以提高性能。
首选技能、经验和教育背景：
• 接触过大数据工具和解决方案是一个很大的加分项
• 接触过关系建模、维度建模和非结构化数据建模
• 计算机科学或相关领域学士学位
• 有设计和架构审查的经验
• 在银行、金融领域有经验
最后更新日期：2024年1月15日 
纽约