职位描述:
我们正在寻找一位有才华和经验丰富的大数据工程师加入我们的团队。作为一名大数据工程师,您将负责设计、实施和维护我们公司的大数据基础设施。您将与数据科学家、分析师和其他利益相关者密切合作,以确保我们的数据管道高效、可靠且可扩展。理想的候选人应具备扎实的大数据技术背景、出色的解决问题的能力,并对处理大量数据充满热情。
职责:
• 设计、开发和维护大数据基础设施和数据管道。
• 与数据科学家和分析师密切合作,了解他们的需求并将其转化为技术解决方案。
• 优化和调整数据管道以提高性能和可扩展性。
• 实施数据安全和隐私措施,以保护敏感信息。
• 解决与数据处理和数据质量相关的问题。
• 了解大数据和分布式计算领域的新兴技术和最佳实践。
• 与跨职能团队合作,整合来自各种来源和系统的数据。
• 记录系统架构、流程和程序。
要求:
• 计算机科学、工程或相关领域的学士学位或更高学历。
• 3年以上担任大数据工程师或类似职位的经验。
• 熟练掌握Hadoop、Spark、Kafka、Hive和HBase等大数据技术。
• 有分布式计算和并行处理框架的经验。
• 熟练掌握Java、Scala或Python等编程语言。
• 有AWS、Azure或Google Cloud等云平台的经验。
• 了解SQL和数据库技术(如MySQL、PostgreSQL)。
• 出色的解决问题和分析能力。
• 良好的沟通和协作能力。
首选资格:
• 有使用Docker和Kubernetes等容器化和编排工具的经验。
• 熟悉机器学习算法和技术。
• 持有相关技术认证(如AWS Certified Big Data - Specialty)。
• 有在敏捷开发环境中工作的经验。