具有 Flink 和流处理经验的数据工程师

圣弗朗西斯科 12天前合同 网络
面议
角色:具有流处理或Flink经验的数据工程师 地点:加利福尼亚州山景城/加利福尼亚州圣地亚哥(现场) 期限:长期 面试次数:2次(1次视频面试,2次现场面试) 职位描述– 必须具备: Apache Flink或流处理经验的专业知识 Java编程技能 流处理和批处理的知识 具有使用Apache Kafka的经验 在Apache Flink生产Java或Scala项目中的验证经验 关系数据库的知识 了解类似AWS Athena的MPP 了解HIVE AWS云服务的经验 工作职责: 编写新的数据管道 调试和优化现有的数据管道 分析资源消耗高或执行时间长的管道,并根据需要进行优化 实施自动化管道管理和可观察性指标设置 收集需求,进行高层设计,实施(编码)并在高数据增长环境中交付高效且可扩展的数据仓库解决方案 监督与编码、单元测试、系统测试相关的团队活动,解决系统测试期间出现的缺陷,并在需要时部署缺陷修复 加分项: 熟悉大数据技术,如Spark、Hive 熟悉CI/CD和基础开发运维 熟悉Shell脚本编写