数据DevOps工程师

14个月前全职
Cloud Pro Partners

Cloud Pro Partners

location 旧金山
unsaved
职位:数据DevOps工程师 地点:加利福尼亚州福斯特城 W2合同 现场办公 此职位仅面向W2合同候选人,并且仅需本地人。 职责: • 设计、构建和维护一个供客户团队构建大规模数据管道的平台 • 推动平台效率的提升,以减少延迟并改善数据的新鲜度 • 通过改进可观察性和关键指标来支持数据驱动的工程决策 • 与工程团队合作,支持他们的数据管道的长期扩展 资格: • 5年以上软件工程经验 • 熟练掌握Python • 对分布式系统有深入的理解 • 出色的书面和口头沟通能力 • 在大规模数据密集型生产系统的构建和维护方面具有良好经验 • 在关系型数据库和非关系型(NoSQL)数据库方面具有良好经验 • 在基础设施即代码工具(如Terraform)方面具有良好经验 • 在大规模流式平台(如Kafka、Kinesis)方面具有经验 • 在数据仓库平台(如Redshift、BigQuery、Databricks)方面具有经验 • 具有构建可扩展和可维护的数据管道的经验 • 具有AWS ECS和/或Kubernetes的经验 • 具有类似Airflow的工作流管理器的经验 • 具有大规模处理框架(如Spark、Hadoop)的经验