数据工程师

14个月前合同
Morgan McKinley

Morgan McKinley

location 悉尼
unsaved
摩根麦克利正在寻找一位高技能的数据工程师加入一个转型计划,为创新的数据解决方案做出贡献。这是一个令人兴奋的机会,在教育行业中发挥重要作用,提升数据处理和系统优化,优化数据管道、日志记录和监控,以满足不断发展的需求。 职责: • 设计、测试和维护高效处理来自不同来源的数据和分析架构。 • 与利益相关者密切合作,解决数据基础设施需求和技术问题。 • 使用DBT、Apache Airflow、Python和Alteryx开发和验证数据转换例程。 • 通过CI/CD管道将模型部署到生产环境中。 • 推荐和实施改进措施,以提高数据可靠性、效率和质量。 • 维护用户指南、技术规范和流程文件。 • 协助开发和实施数据治理流程和标准。 要求: • 在DBT、Apache Airflow、Python、Alteryx中编写、测试和验证数据转换和ETL例程的强大经验。 • 通过Kubernetes等服务实现管道可扩展性的经验。 • 有关数据模型的生成和维护方面的经验(例如DDL、数据映射、DML、数据字典、变更登记等)。 • 熟悉数据库、数据管道和工作流管理工具:Snowflake、JIRA、Wiki、DBT Airflow等。 • 熟悉Salesforce CRM。 • 较强的利益相关者参与能力。