高级数据工程师

无个税14个月前全职
Core42

Core42

location 迪拜
unsaved
资格要求 成功所需的技能和特质 • 计算机科学、工程学、数学或相关领域的学士学位,或同等工作经验。 • 在数据工程领域拥有5年以上的经验。 • 熟练掌握SQL和Python、Java、Scala等编程语言。 • 具有Hadoop、Spark和Flink等大数据技术的实际经验。 • 熟悉TensorFlow、PyTorch或类似的机器学习框架。 • 对数据仓库概念、ETL流程和数据建模有深入的理解。 • 具有API开发经验,并能与数据服务进行集成。 • 具有AWS、GCP等云平台的经验。 • 具备DevOps、CI/CD方法和Docker或Kubernetes等容器化技术的知识。 • 具有实时数据处理经验。 技术栈 • 编程语言:Python、Java、Scala、SQL、Bash • 大数据技术:Hadoop、Spark、Flink • 数据库:MySQL、PostgreSQL、MongoDB、Cassandra、HBase、Redis • 云平台:Azure • API开发:RESTful APIs、GraphQL、OpenAPI • 数据服务:Kafka、RabbitMQ • 容器:Docker、Kubernetes