高级数据工程师及合作伙伴/人工智能基础设施

3天前全职
179.5万 - 287.2万 / 年 Demand.io

Demand.io

location 洛杉矶
unsaved
职位:高级数据工程师及合作伙伴(人工智能商业基础设施) 构建推动互联网最值得信赖的商业知识引擎的系统。 我们不仅是在招聘。我们正在寻找一位系统共同架构师。 我们通过构建结构化智能层,将人性重新带回商业的核心,让人工智能代理和人类都能信任。 我们的产品,如 Simply Codes 和 Product.ai,依托于 Shop Graph,这是互联网中最全面、经过验证的商业知识图谱。它从 400,000 多个商家中获取数据,实时维护超过 1 亿种产品的知识,并通过人工智能、人群外包和系统设计的混合方式不断验证价格、情感和规格。 作为高级数据工程师,您将帮助构建数据提取、转换和验证系统,使这一切成为可能。您不仅仅是在构建管道,而是在为人工智能原生商业构建值得信赖的基础设施。 这个角色的存在原因 我们处于两个重大变革的交汇点: • 静态接口转变为代理驱动的对话式购物体验 • 搜索驱动的信任崩溃,迫切需要结构化、经过验证的实时知识 这个角色对这两者至关重要。 我们正在寻找一位 10 倍的系统思考者,能够构建可扩展的框架: • 从碎片化来源提取大量商业数据 • 确保知识保持可信、完整和实时 • 驱动从智能结账到大规模人工智能训练的所有内容 您将直接与我们的首席架构师和首席执行官合作,定义推动我们下一个十年的数据基础设施。 您将架构的内容 我们将“职责”替换为您将拥有的系统和您将解决的问题: Shop Graph 数据提取框架 我们如何持续提取和标准化 1 亿以上产品实体——包括价格、规格和情感——来自碎片化、非结构化的来源? 批处理 + 流处理混合引擎 如何设计最佳方案,将高吞吐量的批量入职与低延迟流更新统一起来——并确保数据一致性? 大规模情感结构化 我们如何将数百万条评论和文章转化为结构化的、可查询的情感,供人工智能系统推理? 我们可以构建什么系统,将人工智能推理与 BFT 人群外包结合起来——使数据在使用越多时越准确? 人工智能原生湖仓架构 我们应该如何构建和提供数据,以支持商业分析和大规模人工智能训练/推理工作流? 我们在寻找什么 我们不依赖于检查清单来招聘——我们招聘的是战略杠杆。但您可能会带来: • 设计并扩展具有乘法效应的数据系统 • 拥有数据提取框架、转换管道或分布式 ETL 基础设施 • 构建可供他人重复使用的平台 技术能力 • 6 年以上数据工程或分布式系统经验 • 精通 Python 和 SQL • 熟悉 Apache Spark、Beam、Flink 或 Kafka 等工具 • 有云数据仓库(Big Query、Snowflake)和编排工具(Airflow、Prefect、Dagster)的经验 • 理解数据湖仓模式(Iceberg、Delta Lake)、向量存储和图数据库 • 在规模上验证数据质量、模式演变和可观察性方面的经验 心态 • 系统思考者,倾向于以第一原则为基础,而不是先例 • 深度通才——能够在数据提取、验证和人工智能训练管道之间工作 • 强烈的责任感,能够在高信任、低管理的环境中茁壮成长 加分项: • 构建混合人工智能 + 人工验证管道的经验 • 为生成性人工智能训练或推理设计基础设施 • 隐私优先架构或基于区块链的数据验证 薪酬与对齐 我们不做模糊的初创公司股权承诺。我们提供即时财富创造和通往创始人级别的潜力。 175,000 – 250,000 美元 与您的经验和影响潜力相对齐。 90 天后,您将加入我们的合作伙伴计划: • 多年 PSB 底线: 通常在 4 年内超过 400,000 美元 • 奖金是真实的现金,每月支付 • 没有归属时间表。没有流动性事件。只有对齐的影响 = 奖励 股权 0.20% – 0.35% 的所有权 在 4 年内归属