角色：数据工程负责人
地点：多伦多，安大略省
职位概要
我们正在寻找一位熟练的数据工程师来设计、构建和维护可扩展的数据管道和数据平台。理想的候选人应具备Python、PySpark、SQL、Snowflake和ETL/数据集成的丰富实践经验，并注重数据质量、可靠性和性能。
主要职责
- 设计、开发和维护稳健的ETL/ELT管道，以处理大规模结构化和半结构化数据
- 使用Python和PySpark构建和优化数据工作流
- 在Snowflake中开发和维护数据模型和转换
- 编写复杂的高性能SQL查询用于分析和报告
- 使用数据集成工具整合来自多个来源的数据
- 实施并执行数据质量检查、验证和监控
- 与分析、数据科学和业务团队合作以理解数据需求
- 优化管道的性能、可扩展性和成本
- 故障排除并解决管道生命周期中的数据问题
- 遵循编码标准、版本控制、测试和文档的最佳实践
所需技能和资格
- 强大的数据工程和软件开发经验
- 精通Python和PySpark
- 高级SQL技能
- 具备Snowflake的实践经验
- 扎实的ETL/ELT管道构建经验
- 具有数据集成工具的经验（如Informatica、Talend、Fivetran、Airflow或类似工具）
- 对数据质量、数据验证和数据治理有深刻理解
- 具有处理大型数据集和分布式数据处理的经验
- 强大的问题解决和调试能力
