Flink数据工程师

圣弗朗西斯科 12天前全职 网络
面议
Dice是技术专家在其职业生涯各个阶段的首选职业目的地。我们的客户,Rivago Infotech Inc,正在招聘以下职位。今天通过Dice申请吧! - 职位:具有流处理或Flink经验的数据工程师 - 地点:MTV/圣地亚哥,加州(100%现场) 必须具备: - Apache Flink或流处理经验 - Java编程技能 - 流处理和批处理的知识 - 使用Apache Kafka的经验 - 在Apache Flink生产环境中使用Java或Scala的项目经验 - 关系数据库的知识 - 类似AWS Athena的MPP知识 - HIVE的知识 - AWS云服务的经验 工作内容: - 编写新的数据管道 - 调试和优化现有的数据管道 - 分析消耗高资源或执行时间长的管道,并根据需要进行优化 - 实现自动化管道管理和设置可观察性指标 - 收集需求,进行高层设计,实施(编码)并在高数据增长环境中交付高效且可扩展的数据仓库解决方案 - 监督团队的编码、单元测试、系统测试相关活动,解决系统测试中出现的缺陷,并在需要时部署修复 加分项: - 熟悉大数据技术如Spark、Hive - 熟悉CI/CD和基本的开发运维 - 熟悉Shell脚本编写