范围:
公共监护人和受托人办公室(OPGT)需要一名高级软件开发人员-ETL,作为内部(OPS)和外部系统的集成团队的一员,负责与新的Dynamics 365解决方案和数据仓库进行接口活动。集成团队由内部员工和供应商员工组成。
可交付成果:
作为集成团队的一员,您将负责将新的Dynamics 365解决方案、数据仓库和内部(OPS)和外部系统进行集成。以下是集成团队的高级可交付成果列表:
接口:
• ODSP(多个)
• ADP/OMERS
• ADP/OPB
• Equifax(多个)
• TransUnion请求(多个)
• CPP
• HST季度付款清单(统一销售税)
• HOOPP
• CRA退款/所得税
• CIBC Mellon养老金
• OAS
• OPT信托
• OSHPTG
• 安大略省三叶草福利-OTB
• OTPP
• OW每日
• SIN文件
• WSIB
• 约克OW
• GAINS
• CHO年度租金率文件
• 发票文件-模块化保险
• 付款文件70740机构(模块化保险)
• 付款文件70710不动产
• 付款文件70730动产
• 付款文件70720车辆
• CIBC(多个)
• Plan Plus Software/Future Software
• CAIP-气候行动激励付款
• 支票对账文件
• 确认文件
• CPA FIF(金融机构文件)文件
• 传真汇款文件
• 提交
• 可重载客户卡
• 每日支票文件到Interlaser
• IFIS文件
• EFT文件
• T-Slip返回提交文件
• 税单/打印T-Slip
• 所得税费用
• 年度墓地报表
• LTCRR表格(费率降低)
• Stat Pro定价文件
• 正面支付
• TD Waterhouse投资报表
• Mackenzie投资报表
• Unitrax
这些可交付成果将需要:
• 数据分析:分析遗留应用程序中的现有流程和数据,并帮助设计新流程。
• 数据映射和转换:将Dynamics 365 CE、F&O和数据湖中的实体和字段映射到接口中的数据元素。进行必要的数据转换,确保兼容性和一致性。
• 数据提取和摄取:帮助从Dynamics 3565和数据仓库中提取/导入所需数据,开发和实施提取/摄取过程。
• 数据验证:验证提取/导入的数据以确保其准确性、完整性和一致性。帮助识别和解决数据质量问题。
• 开发用于通过网络、sFTP、API、Microsoft Power Platform、Logic Apps在内部和外部环境之间传输数据和文件的过程。
• 在Azure环境中开发加密和解密过程。
• 测试和质量保证:进行彻底的测试,以验证接口中操作的数据的准确性和完整性。定义测试用例,并在测试阶段出现任何问题或差异时解决。
• 记录所开发的过程。
• 持续支持:提供开发后的支持,分析和解决问题或问题;帮助优化新环境中的流程。
• 分配的其他职责。
供应商的人员还需要:
• 在指定的截止日期内完成工作并实现里程碑;
• 一旦他/她发现任何与任务可交付成果相关的问题或其他重要问题,立即以书面形式通知集群/部委项目经理
• 在完成后将可交付成果提交给集群/部委批准。
• 遵守安大略省政府和集群/部委的安全程序和实践
• 遵守安大略省政府和集群/部委的架构/技术标准和最佳实践
• 遵守安大略省政府和集群/部委的利益冲突和保密指南
• 向指定的集群/部委人员提供知识和技能转移;并
• 遵守安大略省政府的I&IT指令、I&IT项目门户流程的运营政策以及其他适用的指南、标准和程序。
要求
经验和技能要求:
强制要求:
• 在ETL角色中有5年以上的工作经验;对ETL原理有深入了解,包括数据提取、转换和加载过程;了解常见的ETL设计模式。了解数据流水线架构、Azure工作流编排工具以及与数据摄取、转换和移动相关的概念。
• 熟练掌握Azure Data Factory、Azure Synapse工作区
• 出色的SQL技能和与Azure SQL数据库和Dataverse的工作经验;对Azure存储概念和技术有良好的理解。
• 熟练使用Python等脚本语言,有使用PowerShell或Azure CLI、.NET、C#、Power Platform、Logic Apps等Azure特定脚本的经验
• 精通数据操作语言(T-SQL、PL/SQL)、数据定义语言、物理数据库设计、数据建模、查询性能分析和调优
• 对与Dynamics常用的集成技术(如DataVerse、Data Entities和APIs)有了解。
• 有关DevOps、数据工作流、Synapse工作区的持续集成/持续部署(CI/CD)流程经验。
Nice to have:
• Azure云认证(例如Azure基础知识、Azure数据工程师助理、Azure数据库管理员助理)
技能和知识:
• 在ETL角色中有5年以上的工作经验;对ETL原理有深入了解,包括数据提取、转换和加载过程;了解常见的ETL设计模式。了解数据流水线架构、Azure工作流编排工具以及与数据摄取、转换和移动相关的概念。
• 使用Azure ETL服务或其他ETL工具,将各种数据源和系统(包括本地和云端)进行集成的经验
• 对与Dynamics常用的集成技术(如DataVerse、Data Entities和APIs)有了解。
• 熟练掌握使用Azure云技术进行数据转换技术、聚合、增强和规范化。
• 对数据质量管理实践有了解。
• 了解数据治理原则、数据隐私法规,并具有使用高敏感性数据的经验,了解Azure中数据安全和合规性的最佳实践。
• 能够监视和故障排除Azure中的ETL流程,并实施高效的数据处理技术。
• 出色的SQL技能和与Azure SQL数据库和Dataverse的工作经验;对Azure存储概念和技术有良好的理解。
• 精通数据操作语言(T-SQL、PL/SQL)、数据定义语言、物理数据库设计、数据建模、查询性能分析和调优
• 熟练使用Python等脚本语言,并具有使用PowerShell或Azure CLI、.NET框架、C#的经验。
• 熟练掌握Microsoft Power Platform、Logic Apps。
• 熟悉版本控制系统(例如Azure Repos)和协作工具(例如Azure DevOps),用于管理代码、跟踪更改和与团队成员合作。
• 在DevOps、数据工作流、Synapse工作区的持续集成/持续部署(CI/CD)流程方面有经验。
• 有SQL Server Management Studio、Azure数据管理工具、XRM工具箱、数据建模工具(ERWIN或PowerDesigner)的经验。
• 熟悉数据仓库概念,并具有使用Azure Synapse Analytics的经验。
• 有PowerApps平台、Power Automate、Dynamics CE和F&O的经验
• 熟悉SSIS、SSRS、PowerBI
经验和技能要求:强制要求:在ETL角色中有5年以上的工作经验;对ETL原理有深入了解,包括数据提取、转换和加载过程;了解常见的ETL设计模式。了解数据流水线架构、Azure工作流编排工具以及与数据摄取、转换和移动相关的概念。熟练掌握Azure Data Factory、Azure Synapse工作区强大的SQL技能和与Azure SQL数据库和Dataverse的工作经验;对Azure存储概念和技术有良好的理解。熟练使用Python等脚本语言,有使用PowerShell或Azure CLI、.NET、C#、Power Platform、Logic Apps的经验。对数据操作语言(T-SQL、PL/SQL)、数据定义语言、物理数据库设计、数据建模、查询性能分析和调优有专业水平的掌握。对与Dynamics常用的集成技术(如DataVerse、Data Entities和APIs)有了解。对与DevOps、数据工作流、Synapse工作区相关的持续集成/持续部署(CI/CD)流程有经验。Nice to have:Azure云认证(例如Azure基础知识、Azure数据工程师助理、Azure数据库管理员助理)技能和知识:在ETL角色中有5年以上的工作经验;对ETL原理有深入了解,包括数据提取、转换和加载过程;了解常见的ETL设计模式。了解数据流水线架构、Azure工作流编排工具以及与数据摄取、转换和移动相关的概念。使用Azure ETL服务或其他ETL工具,将各种数据源和系统(包括本地和云端)进行集成的经验对与Dynamics常用的集成技术(如DataVerse、Data Entities和APIs)有了解。对使用Azure云技术进行数据转换技术、聚合、增强和规范化有专业水平的掌握。对数据质量管理实践有了解。对数据治理原则、数据隐私法规有了解,并具有使用高敏感性数据的经验,对Azure中的数据安全和合规性的最佳实践有了解。能够监视和故障排除Azure中的ETL流程,并实施高效的数据处理技术。出色的SQL技能和与Azure SQL数据库和Dataverse的工作经验;对Azure存储概念和技术有良好的理解。对数据操作语言(T-SQL、PL/SQL)、数据定义语言、物理数据库设计、数据建模、查询性能分析和调优有专业水平的掌握熟练使用Python等脚本语言,并具有使用PowerShell或Azure CLI、.NET框架、C#的经验。熟练掌握Microsoft Power Platform、Logic Apps。熟悉版本控制系统(例如Azure Repos)和协作工具(例如Azure DevOps),用于管理代码、跟踪更改和与团队成员合作。在DevOps、数据工作流、Synapse工作区的持续集成/持续部署(CI/CD)流程方面有经验。有SQL Server Management Studio、Azure数据管理工具、XRM工具箱、数据建模工具(ERWIN或PowerDesigner)的经验。熟悉数据仓库概念,并具有使用Azure Synapse Analytics的经验。有PowerApps平台、Power Automate、Dynamics CE和F&O的经验熟悉SSIS、SSRS、PowerBI
关于公司:
Maarut Inc