您好,
希望您一切安好。
我们有一个紧急职位,详情如下。如果您感兴趣,请发送您最新的简历以及期望的薪资。
职位角色:高级数据工程师
地点:加拿大安大略省多伦多(每周现场工作4天 - 多伦多市中心)
职位描述:
关于该角色:
我们正在寻找一位经验丰富的高级数据工程师(10年以上),负责在 Microsoft Azure 上设计和优化可扩展的数据解决方案。您将使用 Snowflake 进行数据仓库管理,并在 Lakehouse 架构内使用 Databricks 进行大数据处理,遵循金银铜的原则(Bronze, Silver, Gold)。
主要职责:
• 数据管道:使用 Azure Data Factory、Databricks(PySpark、SQL)构建和优化 ETL/ELT 管道,并从各种来源将数据导入 ADLS 和 Snowflake。
• Databricks 开发:创建和调整 Spark 作业,利用 Delta Lake、Autoloader 和高级优化技术。
• 数据仓库:设计和管理 Snowflake 模式、查询和性能调优。
• 数据质量与治理:实施安全性、数据血缘、验证框架和合规政策。
• 编程:使用 Python、PySpark、Scala 和高级 SQL 进行数据处理和自动化开发。
• 合作:与数据架构师合作,并指导初级工程师。
• DevOps:使用 Azure DevOps 维护 CI/CD 管道;排除故障并优化性能。
所需技能:
• 精通 Azure 服务(ADF、Databricks、ADLS、Key Vault)。
• 拥有强大的 Snowflake 经验(数据建模、优化、Snowpipe)。
• 精通 Python、PySpark、Scala 和高级 SQL。
• 对 Delta Lake、Autoloader、Z-ordering 和分区有一定了解。
• 熟悉 CI/CD、Git 工作流和数据安全最佳实践。
• 有 JSON、Parquet 和 CSV 格式的经验。
优先资格:
• 计算机科学或相关领域的学士/硕士学位。
• Azure 数据工程师和 Databricks 认证。
--
谢谢与祝好
Ritik Sahu || Raas Infotek
直线电话:302 286 9939 分机:109
电子邮件:ritik.sahu@raasinfotek.com
LinkedIn: https://www.linkedin.com/in/ritik-sahu-745129193/