“职位描述”
- 使用SSIS、Informatica BDM或本地工具设计和实施数据摄取管道和ETL流程,以满足功能和非功能性业务需求。
- 在Control-M等编排工具中创建和管理数据工作流,以确保可扩展性、优化数据交付并自动化手动流程。
- 确保所有系统的数据质量、完整性和一致性,为决策提供可信的数据。
- 开发复杂的T-SQL和PL/SQL查询、存储过程和脚本,用于数据转换和集成。
- 监控性能并建议配置或基础设施更改以提高效率和可靠性。
- 通过深入分析业务和系统流程,排查和解决高影响力的数据问题。
- 设计逻辑和物理数据模型以支持企业数据架构。
- 建立和执行ETL解决方案的编码、测试、调试和实施标准。
- 与多个职能部门的利益相关者合作,了解业务流程和数据需求。
- 支持企业ETL和BI开发人员进行开发和解决与数据相关的问题;就报告和分析的高效数据提取提供建议。
所需资格:
- 8-10年ETL开发和数据工程经验,最好是使用SSIS、Informatica BDM。
- SSAS、SQL Server、Oracle和半结构化/非结构化数据经验。
- 在解决方案工程、数据建模和运营方面有丰富经验。
- 拥有编排工具(如Control-M)和数据质量框架的实际操作经验。
- 熟悉Hadoop发行版(Cloudera、MapR、Hortonworks)者优先。
- 强大的T-SQL和PL/SQL技能;能够优化和调整查询和ETL作业。
- ETL工具:SSIS、Informatica BDM。
- 数据库:SQL Server、Oracle、Vertica、NoSQL。
- 数据建模:逻辑和物理建模。
- 大数据与云:Cloudera、Azure、Snowflake、HDFS、Spark。
- BI工具:Microsoft Power BI、IBM Cognos。
优先认证(可选):
- 微软认证:Azure数据工程师助理。
- Informatica Cloud/BDM专业认证。
标签:azure, ETL, hdfs, IBM, informatica bdm, oracle, PL, power bi, snowflake, SQL, ssis, t-sql, vertica