首席数据工程师 - Qlik/ Snowflake/ DBT

休斯顿 12天前全职 网络
面议
概述 这是一个远程职位,仅限在以下地点招聘:北卡罗来纳州、德克萨斯州、亚利桑那州。 该职位负责架构、设计、实施和优化复杂的数据解决方案。此角色负责在敏捷环境中使用现代云技术解决方案领导复杂数据管道、仓库和分析平台的设计和开发,同时指导初级团队成员并与利益相关者合作推动数据驱动的决策。 职责 - 数据架构和策略:设计并实施可扩展、高效的数据架构。领导与业务目标一致的数据策略开发。评估并整合新技术以增强数据能力。 - 实际数据管道开发:作为技术负责人,实施复杂的数据管道以进行实时和批处理。优化高容量、高速数据环境的数据流。开发多样化数据源的高级ETL流程。 - 数据治理和质量管理:推动、建立并执行数据治理政策和最佳实践。实施数据质量框架和监控系统。确保遵守数据法规和标准。 - 性能优化和故障排除:负责分析和优化大规模数据操作的系统性能。排除复杂数据问题并实施强大的解决方案。 - 指导和知识分享:指导初级数据工程师并提供技术指导。掌握最新数据技术,推荐最佳实践和标准。与跨职能团队和领导层合作推动数据素养。 - 测试与自动化:执行/编写单元测试用例,验证/审查数据完整性和一致性结果,使用GitLab、Github、CICD工具推动自动化数据管道。 - 代码部署与发布管理:审查并批准代码推广,执行发布管理程序以促进代码部署到包括生产、灾难恢复和支持活动在内的各种环境。 - 与业务利益相关者合作以理解数据需求并将其转化为高效的架构解决方案。 资格 学士学位和6年高级数据工程、企业架构、项目领导经验或高中毕业证书或GED和10年高级数据工程、企业架构、项目领导经验。 优先条件: 技术/业务技能: - 深入掌握设计、构建基于元数据驱动的自动化数据管道解决方案,利用现代云数据技术和工具构建大型数据仓库、数据库平台。 - 深入经验利用数据安全、治理方法满足数据合规要求。 - 丰富的实际经验设计、构建奖章架构ELT管道、雪管道、使用Qlik Replicate、DBT Cloud转换、Snowflake、GitLab与CICD的流媒体框架。 - 丰富的经验设计、构建跨多个数据源和目标(如SQL Server、Oracle、Mainframe-DB2、文件、Snowflake)的数据完整性解决方案。 - 丰富的Python/Pyspark、先进SQL用于摄取框架和自动化的设计、开发经验。 - 丰富的经验架构、构建使用S3、Lambda、SQS、SNS、Glue、RDS AWS服务的解决方案。 - 丰富的经验处理各种结构化和半结构化数据文件 - CSV、固定宽度、JSON、XML、Excel和主机VSAM。 - 丰富的使用DBT Cloud、Astronomer Airflow的编排经验。 - 设计、实施日志记录、监控、警报、可观察性使用Dynatrace等工具。 - 丰富的问题解决、性能调优经验。 - 设计并实施模式漂移检测和模式演变模式。 - 丰富的设计、实施敏感数据保护策略 - 令牌化、Snowflake数据掩码策略、动态和条件掩码以及基于角色的掩码规则。 - 丰富的设计、实施RBAC、数据访问控制、采用治理标准跨Snowflake和支持系统。 - 丰富的执行、采用发布管理指南、代码部署到各种环境、实施灾难恢复策略、领导生产活动的经验。 - 能够为关键业务用例做出技术数据决策。 - 能够与业务部门一起优先投资于新的数据相关技术。 - 必须在相关技术领域拥有一个或多个认证。 - 金融银行经验是一个加分项。 功能技能: - 团队合作:支持同事、团队和部门管理。 - 沟通:优秀的口头、书面和人际沟通能力。 - 问题解决:优秀的问题解决能力、事件管理、根本原因分析和主动解决方案以提高质量。 - 合作与协作:与业务和IT利益相关者建立和维护合作关系。 - 注意细节:确保所有任务的准确性和彻底性。 福利是整体奖励的重要组成部分,First Citizens Bank致力于提供具有竞争力、精心设计和高质量的福利计划,以满足员工的需求。更多信息可以在上找到。