紧急 !!! 高级数据工程师 (IceBerg, Spark, Flink, 大数据处理)

23天前全职
8K - 10K SGD / 月 TRUST RECRUIT PTE. LTD.

TRUST RECRUIT PTE. LTD.

location 新加坡
unsaved
亮点: • 永久工作机会 • 优厚的薪酬和福利 • 良好的职业发展 • 工作地点:中央 • 欢迎拥有 IceBerg, Flink, Spark 经验,以及处理大数据的候选人。 职责: • 设计和实施可扩展的批处理和流处理数据管道,使用 Apache Flink, Apache Spark, Debezium 和 Seatunnel 等技术,这是一个开源数据集成框架。 • 从多种来源(包括 API、操作数据库和半结构化格式(例如 JSON、CSV、XML、日志))摄取和处理大量数据,以支持广泛的分析和操作用例。 • 开发可重用的转换管道,以整合和标准化跨领域数据(例如用户行为、交易),使分析就绪的数据集市高效可靠。 • 使用现代平台(如 MinIO/S3、Apache Iceberg 和 ClickHouse)架构和优化数据存储和建模层,确保 OLAP 和基于对象的工作负载的高性能、数据完整性和成本效率。 • 管理和维护多层数据仓库架构,包括临时层、核心层和数据集市层,符合不断变化的业务需求和数据治理标准。 • 使用现代数据治理工具(如 OpenMetadata 和 DataHub)实施稳健的 CI/CD 流程、数据血缘、可观察性和合规性。 • 指导和支持初级数据工程师,进行全面的代码审查,并倡导数据组织中的工程最佳实践。 • 与产品经理、分析师和利益相关者跨职能合作,理解业务需求并将其转化为可扩展的高影响力数据解决方案。 • 关注最新的数据工程趋势、工具和框架,不断推动数据平台和架构的创新与改进。 要求: • 计算机科学、信息系统或相关资格的学士学位。 • 具备 5 - 6 年数据工程经验,拥有领导经验者优先。 • 精通 Python、Java 和 SQL,具备模式设计、性能调优和仓库建模的强大专业知识。 • 拥有湖屋架构(如 Iceberg、Delta Lake)、数据仓库(如 Hive、ClickHouse)和对象存储(如 AWS S3、MinIO)的实际经验。 • 对编排工具(Airflow、DolphinScheduler)、ETL/ELT 设计和流处理框架(Kafka、Flink、Spark)有深入了解。 • 在本地环境中独立设置和管理端到端数据架构的经验。 • 在高性能跨职能团队中指导工程师的成功经验。 • 熟悉基于 Git 的工作流、CI/CD 管道和生产级数据系统的可观察性工具。 • 自我激励,具有强烈的责任感、适应能力,并愿意在需要时出差。 如何申请: 有意申请者,请将您的简历以 MS WORD 格式发送至 dicksern@trustrecruit.com.sg,或请点击“立即申请”,并在简历中提供以下信息。 • 最近薪资 • 期望薪资 • 通知期限 • 离职原因 我们遗憾地通知,仅会联系入围候选人。 重要提示:Trust Recruit Pte Ltd 致力于根据《个人数据保护法》(PDPA)保护您的个人数据。 请在我们的网站 www.trustrecruit.com.sg 上阅读我们的隐私声明。 Trust Recruit Pte Ltd EA 许可证号:19C9950 EA 人员:Lim Dick Sern (Dick Sern) EA 人员注册号:R22106832