数据工程师

14个月前合同
12K - 14K USD NEARSOURCE PTE. LTD.

NEARSOURCE PTE. LTD.

location 新加坡
unsaved
职位范围: • 商业软件工程:在多种编程语言中具有强大的专业软件开发经验,包括现代虚拟机语言(如Java),以及常见的脚本和粘合语言(如Python和版本控制(git)),具有良好的分析和调试技能。 • 在分布式系统中进行根本原因分析,包括网络和源代码级调试,解决错误和性能问题的经验。 • 大数据:您具有数据分析的丰富经验,并对大数据基础设施(如Google Cloud、Big Query、Data Flow、Hadoop Eco System、HDFS、Apache Storm、Apache Spark)有工作知识。 • 您经常构建处理千兆字节/太字节数据的数据管道,并了解操作此类大型数据集的挑战。 • 云计算经验:具有使用分布式和云基础架构实施系统和应用程序的丰富经验。首选GCP,但AWS或Azure也可以。 • 数据建模:对数据、模式、数据模型、PL/SQL、星型和雪花模式以及如何通过高效查询数据来提高数据建模效率有独到见解,了解TDD的重要性,并开发数据验证技术。 • 对分布式关系型和表格数据存储、消息队列、流处理设施和其他可扩展大数据平台技术有工作知识。 职位要求: • 负责将数据摄取和机器学习管道集成和部署到生产环境,让您的想法得以实现。 • 与数据科学团队、业务系统分析师和架构团队等利益相关者合作,解决数据平台的技术和组织问题,支持公司的数据和分析需求。 • 设计和开发数据仓库工作流和使用Informatica PowerCenter或BDM进行大数据开发的经验。 • 在使用Spark的Cloudera/Hortonworks或Databricks等大数据平台上工作的经验。 • 在使用Oracle或MS SQL Server的SQL方面具有经验。 • 在Hive、Hdfs等大数据技术方面具有良好的工作知识。 • 使用Power BI、QlikView/QlikSense或Tableau进行数据可视化开发的经验。