数据工程师 - 远程

芝加哥 8天前全职 网络
面议
在Versa Networks,我们正在革新企业连接、安全和优化网络的方式。我们的使命是确保随时随地访问任何事物的安全。作为安全SD-WAN、SSE(安全服务边缘)、SASE(安全访问服务边缘)和下一代托管服务的领导者,我们正在全球范围内赋能组织,帮助他们为现代云时代转型IT基础设施。我们的创新产品使企业能够提供无缝、可扩展和安全的数字体验,无论用户、设备或应用程序位于何处。Versa由行业资深人士创立,并得到顶级风险投资公司的支持,是推动创新和增长的市场领导者,正为未来的IPO做好准备。 我们相信培养创新、协作和客户成功的文化。我们的团队由充满激情、具有前瞻性思维的专业人士组成,致力于推动网络技术的未来。我们鼓励创造力,提供成长机会,并提供一个动态的环境,让我们的员工能够茁壮成长并产生影响。 在Versa Networks,我们不仅仅是构建产品——我们建立关系,提升业务,并塑造数字未来。加入我们,成为一个快节奏、尖端公司的成员,这家公司正在对世界的连接和通信方式产生真正的影响。 职位概述 我们正在寻找一位高技能的数据工程师,设计、构建和维护处理和转换TB级数据的生产级数据管道。在这个角色中,您将与数据科学家和其他软件工程师密切合作,以确保我们的数据基础设施具有可扩展性、可靠性和成本效益。 职责 • 管道开发与部署: • 使用Airflow和容器化工作流为网络安全用例架构、开发和部署批处理和流处理管道。 • 使用Docker容器化数据处理作业,使用Kubernetes进行编排,并使用Helm图表管理发布。 • 分布式计算: • 使用Dask或Apache Spark构建高吞吐量的数据转换。 • 维护跨混合(本地和云环境)的训练数据集群。 • 优化训练作业的性能、弹性和成本。 • 监控与可靠性: • 实施可观测性(日志记录、指标、警报)以维护管道健康和SLA遵从性。 • 排除故障、调试并解决生产中的数据处理故障。 • 协作与最佳实践: • 与跨职能团队合作定义数据合同、模式和质量检查。 • 强制执行软件工程最佳实践:CI/CD、代码审查、自动化测试和文档。 • 数据建模与存储: • 设计和维护用于AI/ML持续训练用例的数据模型和模式。 • 将数据加载到云存储和数据湖中,确保性能和可访问性。 资格 • 3-5年设计和操作大规模生产数据管道的专业经验。 • 容器化与编排:精通Docker、Kubernetes和Helm。 • 工作流管理:具备构建基于DAG的Apache Airflow管道的实际经验。 • 编程:在数据工程任务中具有较强的Python熟练度。 • 分布式框架:具有使用Dask或Apache Spark进行大规模数据处理的实际经验。 • 云基础知识:熟悉在云环境中部署和管理服务。 • 编译语言:有用Go或Rust编写数据服务的经验。 • GCP熟练度:熟悉使用Google Cloud服务(例如,Pub/Sub、Big Query、Cloud Storage、GKE)。在其他公共云提供商中具有同等经验也可以。 • ML管道:接触过使用Ray或类似框架部署跨集群模型训练工作流。 • 基础设施即代码:熟悉使用Terraform进行部署。 • 安全与合规:了解数据治理、加密和基于角色的访问控制。 地点:美国 • 申请人必须被授权在美国工作 在加利福尼亚州、华盛顿州或纽约市开始就业的职位薪资范围预计在$150,000到$220,000之间。候选人在此范围内的具体薪资将取决于多种因素,包括与工作相关的技能、培训、地点、经验、相关教育、认证以及其他业务和组织需求。 为什么选择Versa? 在Versa Networks,我们相信照顾好我们的员工——无论是专业上还是个人上。我们提供全面的福利计划,旨在支持员工的福祉、成长和工作与生活的平衡。加入我们的团队,您可以期待: • 具有竞争力的薪资与激励:我们提供具有竞争力的薪酬方案和IPO前股票,以奖励您的辛勤工作和奉献。 • 健康与保健:全面的医疗、牙科和视力保险计划,确保您和您的家人保持健康并得到保障。 • 带薪休假(PTO):享受慷慨的PTO政策,包括休假、病假和带薪假期,以便充电和处理个人事务。 • 灵活的工作环境:我们理解工作与生活平衡的重要性。享受远程工作和混合选择的灵活性,以创建最适合您的工作时间表。 • 职业发展:我们相信持续学习。提供培训、认证和教育资源,帮助您在职业生涯中成长并保持行业趋势的领先地位。 • 员工认可:我们庆祝大大小小的成就,定期的认可计划和奖项,突出您对我们集体成功的贡献。 • 协作文化:成为一个充满活力、包容和支持的团队的一部分,创新和协作是我们所做一切的核心。 • 育儿假:慷慨的育儿假政策,在生活的重要时刻支持您。 在Versa Networks,我们的福利旨在帮助您在办公室内外茁壮成长。加入我们,在一个重视您的健康、幸福和成功的支持性环境中体验一个有回报、令人满意的职业。 Versa Networks是一个平等机会雇主。我们致力于为所有员工和申请人提供平等的就业机会,不论种族、肤色、宗教、性别、性取向、性别认同、国籍、年龄、残疾、退伍军人身份或任何其他受保护的特征。此政策适用于所有就业条款和条件,包括招聘、雇用、安置、晋升、解雇、裁员、召回、调动、休假、薪酬和培训。