高级大数据工程师的主要职责是创建和开发解决方案设计,以整合和摄取来自不同来源的数据,支持DataDelivers的大数据生态系统。他们将与关键利益相关者密切合作,使用最佳实践设计和实施最佳解决方案。
该资源创建ETL、批处理和自动化流程,以最好地满足DataDelivers和其客户的需求。这个角色是核心技术解决方案团队的一部分,并且在团队的编码和编程标准方面做出了重大贡献,并确保符合指南和标准。
职责:
• 定义大数据架构蓝图、原型、解决方案架构和快速支持,以加速基于标准和最佳实践的新解决方案的采用。
• 通过与全球团队(在岸和离岸)合作创建ETL、批处理、实时和自动化流程,监督数据解决方案的实施。
• 定义并拥有标准,并确保其他团队成员的合规性。
• 选择和集成所需的大数据工具和框架,以提供所需的功能。
• 管理AWS环境中的EC2集群、Glue作业、Athena表、S3数据湖和相关服务。
• 维护数据质量、完整性和可用性要求。
• 确保数据生态系统具有高度可扩展性、响应能力和可用性。
• 充当大数据生态系统的专家。确保DataDelivers的数据解决方案使用最新版本和代码库。
• 监控批处理和报告性能,并实施必要的优化。
• 为TS团队和其他团队的成员提供技术支持,以及在客户参与中提供项目支持。
• 管理Sprint计划会议和团队仪式:迭代计划、每日站会和迭代回顾。
• 与DevOps团队合作,确保可交付的质量符合批准的业务目标和功能。
• 跟踪、研究和引入技术创新,推动现代化和效率,并改进所编写应用程序的功能。