高级数据工程师,机器学习基础设施

洛杉矶 5天前全职 网络
面议
职位概述 在Serve Robotics,我们正在重新构想城市移动性,利用我们友好的人行道机器人来简化配送并惠及当地企业。作为机器学习基础设施团队的高级数据工程师,您将构建一个支持机器学习和自主创新的PB级数据平台,通过商业化机器人数据直接推动新的收入。 主要职责 • 设计并实施稳健、可扩展的数据管道,以处理、同步和打包机器人数据(例如,LiDAR、摄像头、IMU、专有地图)供第三方使用。 • 构建数据处理和输出平台,确保根据严格的合作伙伴SLA及时准确地交付数据集。 • 创建数据生命周期策略以控制云数据成本,维护原始机器人数据的通用数据目录,并开发成本监控、归因和警报系统。 • 使用机器学习模型开发数据可发现性功能,以生成新属性并维护高效、高度可扩展的搜索索引。 • 通过基础设施即代码(IaC)设置强大的安全控制数据访问审计跟踪,并向内部消费者公开数据沿袭。 必备资格 • 5年以上软件或数据工程专业经验。 • 精通Python和SQL编程。 • 拥有使用云技术构建和维护大规模数据处理管道的实践经验。 • 熟悉数据仓库和ETL/ELT概念。 • 对系统设计、数据隐私和安全最佳实践有扎实的理解。 优先资格 • 有设置IaC以协调云资源和安全策略的经验。 • 熟悉GCP和完全托管的云基础设施。 • 了解机器人数据,如LiDAR、多模态摄像头和地图。 • 在快节奏的初创公司环境中有经验。 • 擅长构建和优化TB级数据管道。 福利与待遇 • 薪酬范围:$185K - $235K