我们正在寻找一位员工软件工程师，以小规模数据为重点，塑造我们数据平台的未来。虽然许多公司过度依赖重量级分布式系统，但我们相信高效、本地优先的列式引擎（如DuckDB）的力量，可以快速、可靠且经济高效地处理和分析数据。
作为一名员工软件工程师，您将为我们的团队制定技术方向，指导他们如何获取、转换和提供数据，弥合轻量级嵌入式工具和云规模系统之间的差距。您将亲自参与构建数据管道，同时指导工程师并在整个组织中制定最佳实践。
您的工作内容
• 架构和构建数据管道
o 使用DuckDB、Polars和Arrow/Parquet设计和实现数据处理工作流。
o 在小数据本地管道与云数据仓库后端（如Snowflake等）之间取得平衡。
• 倡导小数据思维
o 在适当情况下，倡导高效、向量化、本地优先的方法。
o 推动设计可重现和可测试的数据工作流的最佳实践。
• 跨职能协作
o 与数据科学、专业服务和产品工程团队合作，定义语义数据层。
o 在数据版本控制、验证和下游使用的展示方面提供技术领导。
• 运营卓越
o 为CI/CD、可观察性和数据管道的可靠性建立标准。
o 自动化工作流并优化数据布局以提高性能和成本效率。
• 指导与领导
o 作为组织中的思想领袖，指导工程师何时使用轻量级工具与分布式平台。
o 指导高级和中级数据工程师，加速他们的成长。
您的背景
• 核心技术技能
o 深厚的SQL（窗口函数、CTE、优化）专业知识。
o 熟练使用数据库的Python技能。
o 熟悉DuckDB（扩展、parquet/iceberg集成、嵌入管道）。
o 熟悉列式格式（Parquet、Arrow、ORC）和模式演变。
o 精通Kubernetes和Helm。
• 基础设施和工具
o 云存储经验（AWS S3，GCS）。
o 语义层框架经验（CubeJS）。
o CI/CD工具（GitHub Actions，Terraform，Docker/Kubernetes）。
• 领导力
o 有领导架构决策和指导团队的成功经验。
o 能够为可维护性和开发者体验设定标准。
加分项
• 具有无服务器和嵌入式分析经验（DuckDB WASM，生产环境中）。
• 接触过数据版本控制（Delta Lake，Iceberg，Hudi）。
• 了解ML/LLM数据准备工作流和向量数据库集成。
• 之前有构建混合堆栈（本地开发+云仓库生产）的经验。
成功的表现
• 数据管道快速、简单且可重现——运行时间为秒或分钟，而不是小时。
• 团队倾向于为问题选择合适级别的工具（小数据优先，仅在必要时扩展）。
• 明确的语义数据定义支持分析、实验和AI/ML计划。
• 在不牺牲可靠性的前提下，降低基础设施成本和复杂性。
成功候选人的起薪将根据多种非歧视因素确定，包括职位资格、级别、技能、经验、地点以及与DV内部同级人员的平衡。
根据职位描述中规定的资格，此职位的估计薪资范围在[$128,000 - $230,000]之间。此职位还将有资格获得奖金/佣金（如适用）、股权和福利。
上述范围是根据职位描述中的期望设定的；然而，我们通常对各种不同的背景持开放态度，并认识到我们雇用的人可能比发布的职位描述更有经验或经验不足。
技能：
人工智能（AI）、最佳实践、云计算、持续部署/交付、持续集成、成本控制、跨职能、数据分析、数据管理、数据处理、数据科学、数据仓库、分布式计算、Docker、嵌入式系统、GitHub、领导力、机床、指导、性能调优/优化、产品工程、专业服务、Python编程/脚本语言、SQL（结构化查询语言）、Snowflake模式、软件工程、技术领导、思想领导、仓储
关于公司：
DoubleVerify
