数据工程师

15个月前全职
90K - 105K CAD GC Brokers

GC Brokers

location 多伦多
unsaved
公司简介 GC Brokers是一家专注于打造全面的云解决方案并协助联邦政府客户顺利、安全地将工作负载转移到联邦批准的基础设施的IT咨询公司。作为AWS的高级咨询合作伙伴,以及微软的3次合作伙伴,涉及数据与人工智能、数字与应用创新和基础设施合作伙伴。我们提供灵活的服务模式,提升客户的成果。我们通过为顾问提供培训和认证机会,投资于他们的未来,推动增长和创新。 职位描述 数据工程师的工作是创建、管理和改进支持数据分析和机器学习应用的数据管道和系统。这个人将处理不同类型的数据,如结构化、非结构化或流式数据,并将其转换为适合分析和建模的格式。这个人还将确保数据基础设施和解决方案准确、可靠和适应性强。 资格要求: • 对Azure服务(如Azure数据工厂、Azure流分析、Azure Databricks、Azure Cosmos DB和Azure存储)有深入的了解。 • 设计数据模式并定义数据将如何由不同的数据实体和IT系统存储、使用、集成和管理。 • 对Apple macOS、Microsoft Windows、Linux、Solaris和UNIX等操作系统的理解至关重要。 • 分析数据并得出洞察。这包括使用统计方法收集、分析、解释、呈现和组织数据。还包括使用数据可视化工具以清晰简洁的方式表示数据。从这种分析中得出的洞察可以帮助推动业务决策和战略。 • 有Azure云计算技术的经验是必不可少的。这包括对Azure计算、存储和网络功能的理解,以及如何在Azure平台上充分利用它们以实现可扩展和具有成本效益的解决方案。工程师应该能够设计、实施和管理Azure平台上的云解决方案。 • 具备大数据工具和数据库的经验很重要。这包括对Hadoop、Spark和其他大数据处理框架的了解,以及对NoSQL数据库(如MongoDB或Cassandra)的经验。工程师应该能够处理大量数据并从中提取有意义的洞察。 • ETL技术和流程:需要掌握ETL(提取、转换、加载)技术和流程的专业知识。这涉及到使用Azure数据工厂等工具进行数据提取、转换和加载任务的知识。工程师应该能够设计和实施ETL流程,将数据在不同的存储和处理系统之间进行移动。 • 熟悉机器学习技术是有益的。这包括对算法、神经网络和其他机器学习概念的理解,以及使用Azure机器学习等工具开发和部署机器学习模型的经验。工程师应该能够应用机器学习技术分析复杂数据集并进行预测。 要求 • 必须是加拿大居民或永久居民 • 必须居住在加拿大境内 • 优先考虑具有联邦政府安全许可的人员