软件开发人员 - ETL - 高级

15个月前全职
Maarut Inc

Maarut Inc

location 多伦多
unsaved
范围: 公共监护人和受托人办公室(OPGT)需要一名高级软件开发人员-ETL,作为内部(OPS)和外部系统的集成团队的一员,负责与新的Dynamics 365解决方案和数据仓库进行接口活动。集成团队由内部员工和供应商员工组成。 可交付成果: 作为集成团队的一员,您将负责将新的Dynamics 365解决方案、数据仓库和内部(OPS)和外部系统进行集成。以下是集成团队的高级可交付成果列表: 接口: • ODSP(多个) • ADP/OMERS • ADP/OPB • Equifax(多个) • TransUnion请求(多个) • CPP • HST季度付款清单(统一销售税) • HOOPP • CRA退款/所得税 • CIBC Mellon养老金 • OAS • OPT信托 • OSHPTG • 安大略省三叶草福利-OTB • OTPP • OW每日 • SIN文件 • WSIB • 约克OW • GAINS • CHO年度租金率文件 • 发票文件-模块化保险 • 付款文件70740机构(模块化保险) • 付款文件70710不动产 • 付款文件70730动产 • 付款文件70720车辆 • CIBC(多个) • Plan Plus Software/Future Software • CAIP-气候行动激励付款 • 支票对账文件 • 确认文件 • CPA FIF(金融机构文件)文件 • 传真汇款文件 • 提交 • 可重载客户卡 • 每日支票文件到Interlaser • IFIS文件 • EFT文件 • T-Slip返回提交文件 • 税单/打印T-Slip • 所得税费用 • 年度墓地报表 • LTCRR表格(费率降低) • Stat Pro定价文件 • 正面支付 • TD Waterhouse投资报表 • Mackenzie投资报表 • Unitrax 这些可交付成果将需要: • 数据分析:分析遗留应用程序中的现有流程和数据,并帮助设计新流程。 • 数据映射和转换:将Dynamics 365 CE、F&O和数据湖中的实体和字段映射到接口中的数据元素。进行必要的数据转换,确保兼容性和一致性。 • 数据提取和摄取:帮助从Dynamics 3565和数据仓库中提取/导入所需数据,开发和实施提取/摄取过程。 • 数据验证:验证提取/导入的数据以确保其准确性、完整性和一致性。帮助识别和解决数据质量问题。 • 开发用于通过网络、sFTP、API、Microsoft Power Platform、Logic Apps在内部和外部环境之间传输数据和文件的过程。 • 在Azure环境中开发加密和解密过程。 • 测试和质量保证:进行彻底的测试,以验证接口中操作的数据的准确性和完整性。定义测试用例,并在测试阶段出现任何问题或差异时解决。 • 记录所开发的过程。 • 持续支持:提供开发后的支持,分析和解决问题或问题;帮助优化新环境中的流程。 • 分配的其他职责。 供应商的人员还需要: • 在指定的截止日期内完成工作并实现里程碑; • 一旦他/她发现任何与任务可交付成果相关的问题或其他重要问题,立即以书面形式通知集群/部委项目经理 • 在完成后将可交付成果提交给集群/部委批准。 • 遵守安大略省政府和集群/部委的安全程序和实践 • 遵守安大略省政府和集群/部委的架构/技术标准和最佳实践 • 遵守安大略省政府和集群/部委的利益冲突和保密指南 • 向指定的集群/部委人员提供知识和技能转移;并 • 遵守安大略省政府的I&IT指令、I&IT项目门户流程的运营政策以及其他适用的指南、标准和程序。 要求 经验和技能要求: 强制要求: • 在ETL角色中有5年以上的工作经验;对ETL原理有深入了解,包括数据提取、转换和加载过程;了解常见的ETL设计模式。了解数据流水线架构、Azure工作流编排工具以及与数据摄取、转换和移动相关的概念。 • 熟练掌握Azure Data Factory、Azure Synapse工作区 • 出色的SQL技能和与Azure SQL数据库和Dataverse的工作经验;对Azure存储概念和技术有良好的理解。 • 熟练使用Python等脚本语言,有使用PowerShell或Azure CLI、.NET、C#、Power Platform、Logic Apps等Azure特定脚本的经验 • 精通数据操作语言(T-SQL、PL/SQL)、数据定义语言、物理数据库设计、数据建模、查询性能分析和调优 • 对与Dynamics常用的集成技术(如DataVerse、Data Entities和APIs)有了解。 • 有关DevOps、数据工作流、Synapse工作区的持续集成/持续部署(CI/CD)流程经验。 Nice to have: • Azure云认证(例如Azure基础知识、Azure数据工程师助理、Azure数据库管理员助理) 技能和知识: • 在ETL角色中有5年以上的工作经验;对ETL原理有深入了解,包括数据提取、转换和加载过程;了解常见的ETL设计模式。了解数据流水线架构、Azure工作流编排工具以及与数据摄取、转换和移动相关的概念。 • 使用Azure ETL服务或其他ETL工具,将各种数据源和系统(包括本地和云端)进行集成的经验 • 对与Dynamics常用的集成技术(如DataVerse、Data Entities和APIs)有了解。 • 熟练掌握使用Azure云技术进行数据转换技术、聚合、增强和规范化。 • 对数据质量管理实践有了解。 • 了解数据治理原则、数据隐私法规,并具有使用高敏感性数据的经验,了解Azure中数据安全和合规性的最佳实践。 • 能够监视和故障排除Azure中的ETL流程,并实施高效的数据处理技术。 • 出色的SQL技能和与Azure SQL数据库和Dataverse的工作经验;对Azure存储概念和技术有良好的理解。 • 精通数据操作语言(T-SQL、PL/SQL)、数据定义语言、物理数据库设计、数据建模、查询性能分析和调优 • 熟练使用Python等脚本语言,并具有使用PowerShell或Azure CLI、.NET框架、C#的经验。 • 熟练掌握Microsoft Power Platform、Logic Apps。 • 熟悉版本控制系统(例如Azure Repos)和协作工具(例如Azure DevOps),用于管理代码、跟踪更改和与团队成员合作。 • 在DevOps、数据工作流、Synapse工作区的持续集成/持续部署(CI/CD)流程方面有经验。 • 有SQL Server Management Studio、Azure数据管理工具、XRM工具箱、数据建模工具(ERWIN或PowerDesigner)的经验。 • 熟悉数据仓库概念,并具有使用Azure Synapse Analytics的经验。 • 有PowerApps平台、Power Automate、Dynamics CE和F&O的经验 • 熟悉SSIS、SSRS、PowerBI 经验和技能要求:强制要求:在ETL角色中有5年以上的工作经验;对ETL原理有深入了解,包括数据提取、转换和加载过程;了解常见的ETL设计模式。了解数据流水线架构、Azure工作流编排工具以及与数据摄取、转换和移动相关的概念。熟练掌握Azure Data Factory、Azure Synapse工作区强大的SQL技能和与Azure SQL数据库和Dataverse的工作经验;对Azure存储概念和技术有良好的理解。熟练使用Python等脚本语言,有使用PowerShell或Azure CLI、.NET、C#、Power Platform、Logic Apps的经验。对数据操作语言(T-SQL、PL/SQL)、数据定义语言、物理数据库设计、数据建模、查询性能分析和调优有专业水平的掌握。对与Dynamics常用的集成技术(如DataVerse、Data Entities和APIs)有了解。对与DevOps、数据工作流、Synapse工作区相关的持续集成/持续部署(CI/CD)流程有经验。Nice to have:Azure云认证(例如Azure基础知识、Azure数据工程师助理、Azure数据库管理员助理)技能和知识:在ETL角色中有5年以上的工作经验;对ETL原理有深入了解,包括数据提取、转换和加载过程;了解常见的ETL设计模式。了解数据流水线架构、Azure工作流编排工具以及与数据摄取、转换和移动相关的概念。使用Azure ETL服务或其他ETL工具,将各种数据源和系统(包括本地和云端)进行集成的经验对与Dynamics常用的集成技术(如DataVerse、Data Entities和APIs)有了解。对使用Azure云技术进行数据转换技术、聚合、增强和规范化有专业水平的掌握。对数据质量管理实践有了解。对数据治理原则、数据隐私法规有了解,并具有使用高敏感性数据的经验,对Azure中的数据安全和合规性的最佳实践有了解。能够监视和故障排除Azure中的ETL流程,并实施高效的数据处理技术。出色的SQL技能和与Azure SQL数据库和Dataverse的工作经验;对Azure存储概念和技术有良好的理解。对数据操作语言(T-SQL、PL/SQL)、数据定义语言、物理数据库设计、数据建模、查询性能分析和调优有专业水平的掌握熟练使用Python等脚本语言,并具有使用PowerShell或Azure CLI、.NET框架、C#的经验。熟练掌握Microsoft Power Platform、Logic Apps。熟悉版本控制系统(例如Azure Repos)和协作工具(例如Azure DevOps),用于管理代码、跟踪更改和与团队成员合作。在DevOps、数据工作流、Synapse工作区的持续集成/持续部署(CI/CD)流程方面有经验。有SQL Server Management Studio、Azure数据管理工具、XRM工具箱、数据建模工具(ERWIN或PowerDesigner)的经验。熟悉数据仓库概念,并具有使用Azure Synapse Analytics的经验。有PowerApps平台、Power Automate、Dynamics CE和F&O的经验熟悉SSIS、SSRS、PowerBI 关于公司: Maarut Inc