职位
概述:
我们正在寻找一位首席数据工程师,与业务、分析和工程团队合作,设计、构建和维护我们日益增长的数据仓库和分析报告环境。
您将构建易于使用的数据结构,以便报告和监控关键绩效指标。
通过跨学科合作,您将确定内部/外部数据来源,设计和实施表结构、数据产品、ETL策略、自动化框架和可扩展的数据管道。
职责:
与技术和非技术同事合作,了解数据和报告需求。
与工程团队合作,从内部和外部系统收集所需数据。
设计表结构和ETL策略,构建高性能的数据解决方案,可靠且可扩展,适应快速增长的数据生态系统。
为源数据集和目标数据集开发数据质量检查。
制定用户验收测试计划并进行质量保证。
使用Airflow、Luigi和Jenkins等ETL和编排工具开发和维护ETL例程。
记录和发布元数据和表设计,以促进数据采用。
根据需要进行临时分析。
根据需要进行SQL和ETL调优。
使用Tableau和Looker开发和维护仪表盘/报告。
指导和辅导团队成员,改进他们的设计和ETL流程。
创建和进行项目/架构设计审查。
必要时进行概念验证以测试新方法。
设计和构建现代数据管理解决方案。
强制执行常见的数据设计模式,以提高代码可维护性。
进行同行代码审查并提供建设性反馈。
与团队负责人合作,确定、设计和实施内部流程改进。
自动化手动流程,优化数据传递,了解何时重新设计架构以提高可扩展性
基本资格:
5年相关专业经验。
5年在数据仓库环境中实施和报告业务关键绩效指标的工作经验。
对数据建模原理(包括维度建模、数据规范化原理等)有深入的理解。
5年使用分析SQL的工作经验,熟悉传统关系数据库和/或分布式系统(如Hadoop/Hive、BigQuery、Redshift)。
2年编程语言经验(例如Python、R、bash)。
2年工作流管理工具(Airflow、Oozie、Azkaban、UC4)的经验。
精通SQL引擎,能够进行高级性能调优。
熟悉Hadoop(或类似)生态系统(MapReduce、Yarn、HDFS、Hive、Spark、Presto、Pig、HBase)。
熟悉数据探索/数据可视化工具,如Tableau、Chartio等。
具备战略思维、分析和解释市场和消费者信息的能力。
良好的沟通能力-书面和口头表达。
优秀的概念和分析推理能力。
希望具有经济学、数学或计算机科学等分析领域的学位。
适应快节奏和高度协作的工作环境。
出色的团队合作能力,既能够合作又能够独立工作,同时支持多个项目。
预计薪资:根据资格,每小时20至28美元。