大数据开发者

15个月前全职
Helius

Helius

location 新加坡
unsaved
描述 • 提供并开发符合IT组织架构标准的生产级Talend大数据作业 • 与数据建模师/系统分析师密切合作,就所需的数据接口/需求规范进行工作 • 在解决方案设计、编码和单元测试之前,与数据建模师和子系统团队进行技术会议/澄清 • 编写和审查Talend大数据作业和接口规范的设计文档 • 实施错误和异常处理 • 将作业导入Talend数据目录 • 将Talend作业与Autosys集成,并从Autosys重新启动失败的作业 • 执行技术影响评估、源代码发布和部署检查表 • 验证构建是否符合所需规范 • 能够自学/从供应商那里学习应用程序设置和支持 • 与同行和供应商有效合作,开发、设置和支持IFRS17应用程序和数据集成 • 支持SIT和UAT活动,例如进行缺陷分析、故障排除和修复 • 协调和支持性能和安全测试活动,例如环境设置和测试范围 • 与基础架构团队协调部署和相关活动 • 在项目上线后提供增强和生产支持 要求 数据仓库经验:至少4年 • 3年以上的Hadoop(Hortonworks)开发经验,熟悉Spark和Hive;特别是Spark 2版本 • Talend大数据7+版本开发经验:具有3-5年将代码部署到生产环境的工作经验 • 在Hadoop上有2年以上的Talend大数据7版本的工作经验 • 有通过企业工作负载自动化工具(如Control-M,最好是Autosys)设计Talend作业编排的经验 • 熟悉Hortonworks数据平台,用于从多个源系统(如AS400、Oracle Finance、MS SQL等)进行数据摄取框架 • 具有使用Java、PL/SQL、SQL、Python、Scala进行开发的经验,对数据模型和数据流有很好的了解,对维度和关系型数据库有深入的理解,包括:存储过程、约束、规范化、索引和安全性 • 具备保险和财务报告领域知识将是一个优势