在Sepal AI，我们通过开发一些基于真实软件系统的最具挑战性的评估，推动AI测试的边界。我们正在寻找一位具有超过3年经验并具备敏锐系统视角的优秀数据工程师加入我们的团队。您将在为AI建立高吞吐量日志分析环境中发挥关键作用。
您的工作内容：
- 设计和创建分析模式和数据管道，利用BigQuery、ClickHouse、Snowflake和Redshift等高性能工具。
- 处理复杂的分布式查询，涉及大量日志和遥测数据集。
- 开发和管理模拟真实世界DevOps、可观测性或云基础设施日志的合成数据集。
- 优化分布式查询执行计划，以减少超时并提高扫描效率。
您的背景：
- 拥有3年以上数据工程或后端系统角色的经验。
- 在分析数据库和OLAP引擎方面具有深厚的专业知识，专注于大规模查询优化和性能调优。
- 具备日志摄取管道（如FluentBit、Logstash、Vector）和可观测性系统模式设计的经验。
- 拥有强大的SQL技能，能够诊断性能问题并识别低效的查询模式。
- 加分项：具有Python、Docker或合成数据生成的经验。
薪酬：$50 - 85/小时，视经验而定
远程工作，时间灵活
项目时间表：5-6周
