雪花数据工程师

温哥华 6小时前合同 网络
面议
公司描述 HabileLabs 是一家全球云、数据和人工智能合作伙伴,致力于帮助组织实现智能转型。 作为具有生成式 AI 和 SMB 能力的 AWS 高级合作伙伴,HabileLabs 专注于构建可扩展、安全且具有成本效益的平台,以推动长期增长。 凭借在云迁移、数据工程和 AI 解决方案方面的成熟专业知识,我们帮助 BFSI 和医疗保健等行业的组织满足性能、合规性和数据可靠性需求。通过提供具有弹性和面向未来的解决方案,我们赋能企业在不断发展的数字化环境中蓬勃发展。 职位描述 作为 Snowflake 数据工程师,您将负责设计和实施 Snowflake 数据解决方案,开发和维护数据管道,并优化数据模型。 您将与跨职能团队协作,设计高效的数据工作流,确保数据安全性和完整性,并为数据分析需求提供支持。 资格 Snowflake 开发人员/数据建模师是我们数据工程团队的重要成员,负责在 Snowflake 平台上设计、开发和优化可扩展的数据解决方案。 该角色专注于构建高性能的基于 SQL 的转换、稳健的数据管道和结构良好的数据模型,以支持分析、报告和数据驱动的决策。 理想的候选人具备深厚的 Snowflake、SQL 性能优化、数据建模和基于云的 ETL/ELT 工具的专业知识,并结合了强大的分析和协作技能。 您的工作内容 Snowflake 开发 设计、开发和维护 Snowflake 对象,例如仓库、数据库、模式、表、视图、阶段、文件格式、任务和流。 构建和管理 Snowflake 管道,包括 Snowpipe、摄取过程和连续数据流。 实施基于角色的访问控制 (RBAC) 并确保数据安全最佳实践。 SQL 开发与性能优化 编写、优化和排除复杂 SQL 查询的故障。 通过索引策略、聚类、缓存、修剪和仓库优化来提高查询性能。 进行 ETL/ELT 作业和 Snowflake 计算资源的性能调优。 数据建模与验证 开发可扩展的数据模型:概念、逻辑和物理。 使用维度建模技术(星型/雪花模式)。 通过全面的验证、分析和对账来确保数据质量。 云 ETL/ELT 集成 使用至少一个云 ETL/ELT 平台(例如 Informatica Cloud、Matillion、ADF、Talend、DBT、AWS Glue 等)从多种来源摄取和转换数据。 管理自动化工作流、数据管道和调度器。 架构与最佳实践 理解数据架构概念,包括数据湖、数据仓库、摄取模式和转换框架。 参与架构讨论并推荐 Snowflake 最佳实践、新功能和流程改进。 与数据工程师、分析师和架构师合作,构建端到端数据解决方案。 您的能力 在 Snowflake 数据云开发方面有丰富经验。 高级 SQL 开发技能。 深厚的性能调优和优化知识。 在数据建模和验证方面有实践经验。 有使用一个或多个云 ETL/ELT 工具的经验。 熟悉 Snowflake 功能,如时间旅行、克隆、流、任务、Snowpipe 和资源监控器。 了解云环境(AWS/Azure/GCP)。 具备数据架构设计原则的经验。 接触过 DBT 或类似的转换框架。 了解 DevOps 实践(CI/CD 管道、Git)。 了解编排工具,如 Airflow 或 ADF 管道。 资历水平 中高级 雇佣类型 合同 工作职能 信息技术 行业 IT 服务和 IT 咨询