我们正在寻找一位员工软件工程师，以塑造我们数据平台的未来，重点是小规模数据。虽然许多公司过度依赖重量级分布式系统，但我们相信高效、本地优先的列式引擎（如DuckDB）的力量，可以快速、可靠且具有成本效益地处理和分析数据。
作为一名员工软件工程师，您将为我们的团队设定技术方向，指导如何摄取、转换和提供数据，弥合轻量级嵌入式工具和云规模系统之间的差距。您将亲自参与构建管道，同时指导工程师并在整个组织中设定最佳实践。
您的工作内容
• 架构和构建数据管道
o 使用DuckDB、Polars和Arrow/Parquet设计和实现数据处理工作流。
o 平衡小数据本地管道与云数据仓库后端（如Snowflake等）。
• 倡导小数据思维
o 在适当情况下倡导高效、向量化、本地优先的方法。
o 推动设计可重现和可测试数据工作流的最佳实践。
• 跨职能合作
o 与数据科学、专业服务和产品工程团队合作定义语义数据层。
o 在数据版本控制、验证和下游使用的展示方面提供技术领导。
• 运营卓越
o 建立数据管道的CI/CD、可观察性和可靠性标准。
o 自动化工作流并优化数据布局以提高性能和成本效率。
• 指导与领导
o 作为组织中的思想领袖，指导工程师何时使用轻量级工具与分布式平台。
o 指导高级和中级数据工程师，加速他们的成长。
您的背景
• 核心技术技能
o 深厚的SQL（窗口函数、CTE、优化）专业知识。
o 强大的Python数据库技能。
o 熟练使用DuckDB（扩展、parquet/iceberg集成、嵌入管道）。
o 熟悉列式格式（Parquet、Arrow、ORC）和模式演变。
o Kubernetes和Helm的专业知识。
• 基础设施与工具
o 云存储经验（AWS S3、GCS）。
o 语义层框架经验（CubeJS）。
o CI/CD工具（GitHub Actions、Terraform、Docker/Kubernetes）。
• 领导力
o 有领导架构决策和指导团队的记录。
o 能够为可维护性和开发者体验设定标准。
加分项
• 具备无服务器和嵌入式分析经验（DuckDB WASM，生产中）。
• 接触过数据版本控制（Delta Lake、Iceberg、Hudi）。
• 了解ML/LLM数据准备工作流和向量数据库集成。
• 之前有构建混合栈（本地开发+云仓库生产）的经验。
成功的标志
• 数据管道快速、简单且可重现——运行时间为秒或分钟，而不是小时。
• 团队默认使用适合问题的工具级别（小数据优先，仅在必要时扩展）。
• 清晰的语义数据定义，支持分析、实验和AI/ML计划。
• 在不牺牲可靠性的情况下降低基础设施成本和复杂性。
成功候选人的起薪将根据多种非歧视因素确定，包括职位资格、级别、技能、经验、地点以及与DV同行的内部公平性平衡。
根据职位描述中规定的资格，此职位的预计薪资范围在[$128,000 - $230,000]之间。此职位还将有资格获得奖金/佣金（如适用）、股权和福利。
上述范围是根据职位描述中的期望而定；然而，我们通常对各种不同的简历持开放态度，并认识到我们聘用的人可能比发布的职位描述更有经验或经验不足。
技能：
人工智能（AI）、最佳实践、云计算、持续部署/交付、持续集成、成本控制、跨职能、数据分析、数据管理、数据处理、数据科学、数据仓库、分布式计算、Docker、嵌入式系统、GitHub、领导力、机床、指导、性能调优/优化、产品工程、专业服务、Python编程/脚本语言、SQL（结构化查询语言）、Snowflake模式、软件工程、技术领导、思想领导、仓储
关于公司：
DoubleVerify
