大数据工程师
职位详情
部门
技术
汇报经理
数据工程主管
工作地点
阿布扎比，阿拉伯联合酋长国
工作目标
作为ALEF大数据工程师，您需要对大数据技术有深入的了解，并具备出色的编码能力。您将提供技术领导力，与团队密切合作，确保按照项目目标和交付周期提供高质量的代码。您将与其他团队紧密合作，交付快速原型以及生产代码，并确保遵守高可访问性标准。我们期望您熟悉现代框架和语言，以及清晰代码、测试驱动开发、行为驱动开发、持续集成、持续交付和DevOps等工作实践。
主要职责
职位特定职责
定义和开发服务和解决方案
定义、设计和开发与大数据摄取、存储和管理相关的服务和解决方案，例如关系型数据库、No SQL数据库、日志文件、事件。
在生产环境中定义、设计和运行稳健的数据流水线/批处理作业。
架构高度可扩展、高并发和低延迟的系统。
维护、支持和增强当前系统。
为减少技术债务做出贡献，并使用开发方法来最小化新技术债务的增长。
为改进团队代码库的质量、可读性和可测试性提供反馈。
在非线性管理职务下指导和培训其他开发人员。
构建工具（SBT、Gradle、Maven之一）。
确保所有构建的软件健壮且可扩展。
与内部和外部利益相关者合作
参与冲刺计划，与开发人员和项目团队合作，确保项目可部署和可监控。
与第三方和其他内部提供商合作，支持各种集成。
作为团队的一部分，您可能需要参与部分二线内部支持和非工作时间支持轮班。
积极提供最佳实践建议。
教育、经验和所需技能
教育背景
计算机科学、软件工程或相关专业学士学位为佳
流程和实践
敏捷开发
Scrum/Kanban/精益
测试驱动开发/行为驱动开发
持续集成/持续交付
极限编程
经验
至少5年
基本技能
遵循清晰的代码/SOLID原则
坚持使用测试驱动开发/行为驱动开发。
出色的开发能力，能够编写高效、可读、高度优化/可维护和清晰的代码。
精通函数式Java或Scala
了解AWS大数据/分析服务 - S3、EMR、Glue、Redshift、QuickSight、Kinesis。
具有大数据环境经验（还可以向分析团队提供最佳实践和新技术建议）
处理大数据集并扩展其处理和存储的经验。
在Hadoop HFDS、S3、Kafka等系统中存储数据的经验。
设计、设置和运行Hadoop、Spark等大数据技术栈以及Cassandra、DocumentDBs、MongoDB、Kafka等分布式数据存储的经验。
深入了解Hadoop技术生态系统 - HDFS、Spark、Impala、Hbase、Kafka、Flume、Sqoop、Oozie、SPARK、Avro、Parquet
调试复杂的多服务器服务的经验
深入了解和经验IaaS/PaaS解决方案（例如AWS基础架构托管和托管服务）
熟悉网络协议 - TCP/IP、HTTP、SSL等
了解关系型和非关系型数据库系统
了解持续集成和交付。
可选技能
具有使用Spark设计批处理和使用Spark Streaming或Samza设计流处理的经验。
了解和经验搜索数据应用/平台，如ElasticSearch、Splunk等。
熟悉微服务架构
在非线性管理职务下指导和培训其他开发人员。
指导或帮助同事优化他们的代码的经验。
系统管理和配置管理技能。
在用户组、业务和同行面前展示工作的经验。
设计和维护公共HTTP API的经验。
其他语言（Python、Javascript、Clojure、Kotlin等）
其他NoSQL数据库，如Neo4J、Cassandra、Redis等 
阿布扎比