观测工具的数据工程师

纽约 9天前全职 网络
面议
加入Sepal AI,与我们一起通过真实世界的软件系统革新AI评估。我们正在寻找一位拥有超过3年经验并具备强大系统思维的数据工程师,以打造尖端的AI评估环境,特别是在高吞吐量日志分析的背景下。 您的职责: - 使用BigQuery、ClickHouse、Snowflake和Redshift等行业领先工具设计和实施复杂的分析架构和数据管道。 - 处理广泛日志和遥测数据集中的复杂分布式查询。 - 创建和管理准确模拟真实世界DevOps、可观察性和云基础设施日志的合成数据集。 - 增强和优化分布式查询执行计划,以减少超时和降低过度扫描。 您的背景: - 您在数据工程或后端系统角色中有3年以上的经验。 - 您在分析数据库和OLAP引擎方面拥有深厚的专业知识,尤其专注于大规模查询优化、架构设计和性能调优。 - 您熟悉日志摄取管道(如FluentBit、Logstash、Vector)和为可观察性系统量身定制的架构设计。 - 您具备强大的SQL技能,能够识别性能问题并解决低效的查询模式。 - 加分项:熟悉Python、Docker或合成数据生成。 薪酬: 根据经验每小时$50 - 85。此职位提供远程、灵活的工作时间,预计持续5-6周。