作为我们的数据平台工程团队的数据工程师，您将加入熟练的Scala / Spark工程师和核心数据库开发人员，负责开发托管的云分析基础设施（基于Apache Spark），分布式SQL处理框架，专有数据科学平台和核心数据库优化。该团队负责构建自动化、智能和高性能的查询规划器和执行引擎、数据仓库集群之间的RPC调用、共享的二次冷存储等。这包括构建新的SQL功能和面向客户的功能，为行业领先的性能开发新颖的查询优化技术，以及构建一个高度并行、高效和容错的数据库系统。这是一个重要的角色，向高管领导和高级工程领导层汇报。
要求
职责：
• 开发数据库优化器、查询规划器、查询和数据路由机制、集群间通信和工作负载管理技术。
• 在基础设施/架构和问题结构方面从概念验证扩展到“集群规模”（最终每个集群数百个TB）。
• 将最佳实践编码为可重用的模式、模板和代码库，以便捕获和管理元数据。
• 管理一支软件工程师团队，编写新代码，构建一个更大、更好、更快、更优化的HTAP数据库（使用Apache Spark、Apache Arrow、Kafka和其他丰富的开源数据工具）。
• 与高管团队和高级工程领导层互动，定义、优先考虑并确保与其他运营组件的平稳部署。
• 对分析领域的行业趋势非常关注，从数据获取处理、工程和管理的角度进行理解。
• 了解Web3 /区块链中的数据和分析用例。
技能与资格
• 计算机科学或相关技术领域的学士学位，硕士或博士学位优先。
• 6年以上的软件工程和数据平台/企业级数据仓库工作经验，最好具备开源Apache堆栈的知识（特别是Apache Spark、Apache Arrow、Kafka等）。
• 3年以上的Scala和Apache Spark（或Kafka）经验。
• 在竞争激烈的人才市场中招聘和领导技术团队的记录。
• 扎实的工程基础；查询规划、优化和分布式数据仓库系统经验优先，但不是必需的。
• 优先考虑：了解区块链索引、Web3计算范例、证明和共识机制等知识，但不是必需的。
• 在基于Web的环境中有快速开发周期的经验。
• 熟练掌握脚本编写和测试自动化知识。
• 优先考虑：对Web3、区块链、去中心化充满热情，并对数据/分析如何与此相关有基本的理解。
申请此工作
最近更新：2024-01-17 
纽约