高级大数据工程师

16个月前全职
datadelivers

datadelivers

location 芝加哥
unsaved
高级大数据工程师的主要职责是创建和开发解决方案设计,以整合和摄取来自不同来源的数据,支持DataDelivers的大数据生态系统。他们将与关键利益相关者密切合作,使用最佳实践设计和实施最佳解决方案。 该资源创建ETL、批处理和自动化流程,以最好地满足DataDelivers和其客户的需求。这个角色是核心技术解决方案团队的一部分,并且在团队的编码和编程标准方面做出了重大贡献,并确保符合指南和标准。 职责: • 定义大数据架构蓝图、原型、解决方案架构和快速支持,以加速基于标准和最佳实践的新解决方案的采用。 • 通过与全球团队(在岸和离岸)合作创建ETL、批处理、实时和自动化流程,监督数据解决方案的实施。 • 定义并拥有标准,并确保其他团队成员的合规性。 • 选择和集成所需的大数据工具和框架,以提供所需的功能。 • 管理AWS环境中的EC2集群、Glue作业、Athena表、S3数据湖和相关服务。 • 维护数据质量、完整性和可用性要求。 • 确保数据生态系统具有高度可扩展性、响应能力和可用性。 • 充当大数据生态系统的专家。确保DataDelivers的数据解决方案使用最新版本和代码库。 • 监控批处理和报告性能,并实施必要的优化。 • 为TS团队和其他团队的成员提供技术支持,以及在客户参与中提供项目支持。 • 管理Sprint计划会议和团队仪式:迭代计划、每日站会和迭代回顾。 • 与DevOps团队合作,确保可交付的质量符合批准的业务目标和功能。 • 跟踪、研究和引入技术创新,推动现代化和效率,并改进所编写应用程序的功能。