Astek提供了一个机会,招聘数据工程师(大数据)来支持我们在新加坡的项目。
职责
• 使用Snowflake等大数据技术,并与数据科学家密切合作,帮助构建复杂算法,从数据中提供独特的洞察力。
• 使用敏捷软件开发流程,迭代改进后端系统。
• 对前端和后端数据源进行建模,帮助全面了解用户在我们系统中的流程,并实现强大的数据分析。
• 构建数据管道,清洗、转换和聚合来自不同来源的数据。
• 开发可以用于预测和回答整体业务问题的模型。
要求
• 在大数据领域拥有至少5年的数据工程师或后端开发人员工作经验。
• 对所有大数据组件和管理基础知识有一定的了解。
• 扎实的工作知识,能够使用Java或Python实现最佳数据结构和算法,创建高效可扩展的应用程序。
• 有与Snowflake、Oracle和MS-SQL集成应用的经验。
• 熟悉Linux或Unix和Shell脚本编写。
• 能够在数据生态系统中推动Devops最佳实践,如CI/CD、容器化、蓝绿部署、12因素应用、密钥管理等。
• 熟练掌握大数据和相关技术,如Snowflakes、Spark、Presto、Airflow、Yarn等。