职位描述
关于Gridware
Gridware是一家总部位于旧金山的科技公司，致力于保护和提升电网。我们开创了一种名为主动电网响应（AGR）的创新电网管理新类别，专注于监控影响电网可靠性和安全性的电气、物理和环境方面。Gridware的先进主动电网响应平台使用高精度传感器及早检测潜在问题，从而实现主动维护和故障缓解。这种全面的方法有助于提高安全性、减少停电，并确保电网高效运行。公司由气候科技和硅谷投资者支持。欲了解更多信息，请访问www.Gridware.io。
职位描述
作为Gridware的高级数据工程师，您将设计和扩展支持我们实时电网监控平台的数据基础设施。您将构建高性能管道，将大量传感器和遥测数据流转化为可操作的洞察力，帮助检测故障、预测故障并加强为整个社区供电的电网。
职责
- 部署和管理Unity Catalog，以标准化跨数据域的数据治理、数据沿袭和访问控制。
- 设计、开发和维护可扩展的数据管道和架构。
- 实施数据摄取、转换和存储解决方案。
- 确保各种数据源和目的地的数据质量和完整性。
- 与软件工程师、数据科学家、分析师和其他利益相关者合作以满足数据需求。
- 优化和调整数据工作流以提高性能和效率。
- 监控、排除故障并解决数据管道和相关系统中的问题。
- 记录数据流程、架构和工作流程程序。
所需技能
- 5年以上数据工程或相关角色的专业经验，构建和扩展实时数据基础设施
- 具有设计和维护具有治理和访问控制的数据湖和湖仓架构的经验
- 精通Python和SQL，具有关系型、时间序列和流数据库的深厚经验
- 熟练使用现代数据堆栈 - Spark、Kafka、Databricks、Grafana和其他云原生工具
- 擅长数据建模、ETL/ELT管道和生产系统的实时流架构
- 熟悉CI/CD、版本控制和数据治理/安全最佳实践
加分技能
- 具有实时数据处理和流分析框架的经验
- 熟悉物联网和嵌入式系统，包括传感器数据管道和边缘计算
- 在生产环境中动手使用Docker、Kubernetes和Protobuf
- 接触过机器学习工作流和物联网及时间序列数据的实时监控
- 能够在高速增长的初创公司环境中操作，快速适应不同领域
这描述了理想的候选人；我们中的许多人在此过程中获得了这些专业知识。即使您只符合部分条件，我们也鼓励您申请！
福利
健康、牙科和视力保险（部分供应商计划完全覆盖金和铂金）
带薪育儿假
轮流休息日（每隔一个星期一）
“离网”，每年为所有员工提供两周带薪休假。
通勤津贴
公司支付的培训
