加入Sepal AI,与我们一起通过真实世界的软件系统革新AI评估。我们正在寻找一位拥有超过3年经验并具备强大系统思维的数据工程师,以打造尖端的AI评估环境,特别是在高吞吐量日志分析的背景下。
您的职责:
- 使用BigQuery、ClickHouse、Snowflake和Redshift等行业领先工具设计和实施复杂的分析架构和数据管道。
- 处理广泛日志和遥测数据集中的复杂分布式查询。
- 创建和管理准确模拟真实世界DevOps、可观察性和云基础设施日志的合成数据集。
- 增强和优化分布式查询执行计划,以减少超时和降低过度扫描。
您的背景:
- 您在数据工程或后端系统角色中有3年以上的经验。
- 您在分析数据库和OLAP引擎方面拥有深厚的专业知识,尤其专注于大规模查询优化、架构设计和性能调优。
- 您熟悉日志摄取管道(如FluentBit、Logstash、Vector)和为可观察性系统量身定制的架构设计。
- 您具备强大的SQL技能,能够识别性能问题并解决低效的查询模式。
- 加分项:熟悉Python、Docker或合成数据生成。
薪酬:
根据经验每小时$50 - 85。此职位提供远程、灵活的工作时间,预计持续5-6周。