资格要求
成功所需的技能和特质
• 计算机科学、工程学、数学或相关领域的学士学位,或同等工作经验。
• 在数据工程领域拥有5年以上的经验。
• 熟练掌握SQL和Python、Java、Scala等编程语言。
• 具有Hadoop、Spark和Flink等大数据技术的实际经验。
• 熟悉TensorFlow、PyTorch或类似的机器学习框架。
• 对数据仓库概念、ETL流程和数据建模有深入的理解。
• 具有API开发经验,并能与数据服务进行集成。
• 具有AWS、GCP等云平台的经验。
• 具备DevOps、CI/CD方法和Docker或Kubernetes等容器化技术的知识。
• 具有实时数据处理经验。
技术栈
• 编程语言:Python、Java、Scala、SQL、Bash
• 大数据技术:Hadoop、Spark、Flink
• 数据库:MySQL、PostgreSQL、MongoDB、Cassandra、HBase、Redis
• 云平台:Azure
• API开发:RESTful APIs、GraphQL、OpenAPI
• 数据服务:Kafka、RabbitMQ
• 容器:Docker、Kubernetes