加入Sepal AI,与我们一起基于真实世界的软件系统为AI设计最具挑战性的测试!我们正在寻找一位拥有超过3年经验且具有强大系统思维的数据工程师,以协助在动态日志分析环境中构建AI评估环境。
您的工作内容:
- 设计和实施分析架构和管道,使用BigQuery、ClickHouse、Snowflake、Redshift及其他高性能列式数据库等工具。
- 处理大型日志和遥测数据集的复杂分布式查询。
- 创建和管理反映真实世界DevOps、可观测性或云基础设施日志的合成数据集。
- 调整和优化分布式查询执行计划,以防止超时并减少过度扫描。
您的背景:
- 在数据工程或后端系统角色中有3年以上经验。
- 在分析数据库和OLAP引擎方面具有深厚的专业知识,专注于大规模查询优化、架构设计和性能调优。
- 熟悉FluentBit、Logstash或Vector等日志摄取管道,并擅长可观测性系统的架构设计。
- 强大的SQL技能:能够分析性能问题并识别低效的查询模式。
- 加分项:有Python、Docker或合成数据生成经验。
薪资:根据经验每小时$50 - 85
远程工作,灵活工作时间
项目时间线:5-6周