亮点:
• 永久工作机会
• 优厚的薪酬和福利
• 良好的职业发展
• 工作地点:中央
• 欢迎拥有 IceBerg, Flink, Spark 经验,以及处理大数据的候选人。
职责:
• 设计和实施可扩展的批处理和流处理数据管道,使用 Apache Flink, Apache Spark, Debezium 和 Seatunnel 等技术,这是一个开源数据集成框架。
• 从多种来源(包括 API、操作数据库和半结构化格式(例如 JSON、CSV、XML、日志))摄取和处理大量数据,以支持广泛的分析和操作用例。
• 开发可重用的转换管道,以整合和标准化跨领域数据(例如用户行为、交易),使分析就绪的数据集市高效可靠。
• 使用现代平台(如 MinIO/S3、Apache Iceberg 和 ClickHouse)架构和优化数据存储和建模层,确保 OLAP 和基于对象的工作负载的高性能、数据完整性和成本效率。
• 管理和维护多层数据仓库架构,包括临时层、核心层和数据集市层,符合不断变化的业务需求和数据治理标准。
• 使用现代数据治理工具(如 OpenMetadata 和 DataHub)实施稳健的 CI/CD 流程、数据血缘、可观察性和合规性。
• 指导和支持初级数据工程师,进行全面的代码审查,并倡导数据组织中的工程最佳实践。
• 与产品经理、分析师和利益相关者跨职能合作,理解业务需求并将其转化为可扩展的高影响力数据解决方案。
• 关注最新的数据工程趋势、工具和框架,不断推动数据平台和架构的创新与改进。
要求:
• 计算机科学、信息系统或相关资格的学士学位。
• 具备 5 - 6 年数据工程经验,拥有领导经验者优先。
• 精通 Python、Java 和 SQL,具备模式设计、性能调优和仓库建模的强大专业知识。
• 拥有湖屋架构(如 Iceberg、Delta Lake)、数据仓库(如 Hive、ClickHouse)和对象存储(如 AWS S3、MinIO)的实际经验。
• 对编排工具(Airflow、DolphinScheduler)、ETL/ELT 设计和流处理框架(Kafka、Flink、Spark)有深入了解。
• 在本地环境中独立设置和管理端到端数据架构的经验。
• 在高性能跨职能团队中指导工程师的成功经验。
• 熟悉基于 Git 的工作流、CI/CD 管道和生产级数据系统的可观察性工具。
• 自我激励,具有强烈的责任感、适应能力,并愿意在需要时出差。
如何申请:
有意申请者,请将您的简历以 MS WORD 格式发送至 dicksern@trustrecruit.com.sg,或请点击“立即申请”,并在简历中提供以下信息。
• 最近薪资
• 期望薪资
• 通知期限
• 离职原因
我们遗憾地通知,仅会联系入围候选人。
重要提示:Trust Recruit Pte Ltd 致力于根据《个人数据保护法》(PDPA)保护您的个人数据。
请在我们的网站 www.trustrecruit.com.sg 上阅读我们的隐私声明。
Trust Recruit Pte Ltd
EA 许可证号:19C9950
EA 人员:Lim Dick Sern (Dick Sern)
EA 人员注册号:R22106832