高级数据工程师(固定期限机会,直到2025年12月)

15个月前远程兼职
Transport for NSW

Transport for NSW

location 悉尼
unsaved
你可以成为我们团队的一员,为我们的员工实现重大的服务改进。 你非常注重细节,这个角色将使你能够推动基于证据的决策,优化系统和效率,不仅为业务,也为我们的客户。这是可以看到影响的数据和研究。 在这个角色中,你将会: • 担任IT部门的高级数据工程师,负责维护、修改、改进、清洗和操作来自部门和外部数据库的数据。 • 创建并维护从各种内部和外部来源到大型云环境的最佳数据管道。 • 根据参考设计实现大型数据集的解决方案,满足集群、分支和消费者的功能要求。 • 通过自动化手动流程、简化数据交付和增强基础设施的可扩展性和效率来推动内部流程改进。 • 确保云环境的安全虚拟分离,并在安全范围内对数据保护做出重要贡献。 • 使用DataOps框架进行数据摄入和转换,理解星型模式和规范化等数据建模概念。 • 熟练运用Azure服务,如Data Factory、Data Lake、Key Vault和Databricks进行数据集成。 • 利用SQL、Power BI、脚本语言和Medallion架构概念(Bronze、Silver、Gold)来促进有效的数据管理。 • 利用Jira和Confluence等工具生成需求文档,如业务需求、功能规格、数据流程图、实体关系图、API、接口设计、测试计划和测试用例。 欲了解更多信息,请查看角色描述副本。 关于你: • 熟练开发和维护从各种来源到云环境的高效数据管道。 • 具有大规模数据集和实施与现代设计标准一致的解决方案的实际经验。 • 具备自动化流程、简化数据交付和增强基础设施可扩展性的能力。 • 熟悉敏捷数据管理和转换的DataOps方法论。 • 具备星型模式和规范化等数据建模原则的扎实知识。 • 有使用Azure服务,如Data Factory、Data Lake、Key Vault和Databricks的经验。 • 熟练运用SQL、Power BI和脚本语言进行有效的数据处理和分析。 • 理解Medallion架构概念(Bronze、Silver、Gold)以确保数据质量和治理。 • 能够使用Jira和Confluence等现代协作工具生成全面的需求文档。 我们是谁: 新南威尔士州交通部提供安全、一体化和高效的交通系统和服务。我们连接人们、社区和行业。我们的工作连接着你每天的旅程。 加入我们: 我们的员工队伍与我们服务的社区一样多元化。如果您想了解更多关于我们的包容和多样性倡议的信息,请访问新南威尔士州交通部职业生涯。 我们提供各种员工福利,如备受赞誉的灵活和混合工作选择。 这个角色是混合友好的,意味着你可以在团队所在地的固定工作地点和远程工作之间进行混合。 你还在等什么……?与我们联系。立即申请! 申请截止日期:2024年2月18日晚上11:59分 欲了解有关此职位的更多信息,请联系Srivatsa.Lakshminarayana@transport.nsw.gov.au 我们支持残疾人在招聘过程中和工作中得到支持。请访问支持残疾人以获取更多信息,或与您的人才团队成员联系以安排与我们的互动方式的任何调整。 需要关于您的申请的帮助吗?请查看我们的申请技巧视频系列。