数据工程专家

芝加哥 1天前全职 网络
面议
角色概述: 数据工程专家将成为一个充满活力的敏捷Scrum团队的一部分,致力于推进Synchrony的企业数据湖。该角色专注于有效整合来自各种内部和外部来源的数据,提供有洞察力的分析,并确保与关键系统的无缝集成。您的主要职责之一是参与数据分析项目,以提供高质量的数据摄取、标准化和管理,同时遵循数据来源、质量和治理标准。 我们的灵活工作文化 在Synchrony,我们重视您的选择和灵活性。您可以在家工作,靠近我们的中心,或根据需要访问我们的办公室参加团队会议和培训活动。 主要职责: • 在Hadoop生态系统中开发先进的大数据应用程序。 • 参与敏捷开发过程,包括待办事项管理、编程、代码审查、测试和部署。 • 与团队成员合作,在快速发展的环境中实现有影响力的业务结果。 • 独立设计分析应用程序,使用Hadoop、NoSQL、内存数据网格、Kafka、Spark和Ab Initio等技术。 • 进行数据分析,以实现有效的数据摄取、标准化和管理,确保数据在业务上下文中被理解。 • 确定适当的数据摄取和转换所需的组件和工作量。 • 对数据进行分析,以确定数据元素并通过业务术语映射定义数据质量规则。 • 与数据办公室合作,维护所有摄取和生成数据集的数据字典文档。 • 在相关的企业元数据存储库中记录数据血缘。 • 协助创建和应用数据质量标准。 • 确保准确识别敏感和关键数据元素。 • 准备源到目标的数据映射文档。 • 检查现有流程以识别缺陷并提出改进建议。 • 彻底测试当前流程,评估组件以寻求改进。 • 理解功能和非功能性需求,以准备适当的测试数据。 • 计划、开发和管理测试用例和脚本。 • 识别流程瓶颈并建议可行的改进。 • 执行测试脚本并汇总结果。 • 根据需要向敏捷办公室展示测试用例、结果、报告和指标。 • 承担额外职责,为团队和应用程序的成功做出贡献,同时确保遵循数据来源、质量和治理标准。 所需资格: • 在定量领域(例如,工程、计算机科学、统计学、计量经济学)获得学士学位;或具有高中毕业文凭/GED和至少2年的IT经验。 • 有编写Shell脚本、复杂SQL查询、Hive脚本、Hadoop命令和使用Git的经验。 • 能够创建抽象的、可重用的代码组件。 • 精通至少一种编程语言,如Scala、Java或Python。 • 具备分析思维,愿意快速学习新技术。 • 优秀的沟通能力,包括口头和书面。 • 在技术团队、业务分析师和运营人员之间具有强大的协作能力。 优先资格: • 熟悉Ab Initio工具,如GDE、Co>Operating System、Control Center等。 • 了解Cloudera、Kafka、Spark、Shell脚本和Linux。 • 有公共云数据工程服务(例如AWS、GCP、Azure)的经验。 • 熟悉数据管理工具(例如Collibra)。 • 在ETL、数据仓库或数据湖方面有背景。 • 对Synchrony的业务运营和实践有深入理解。 • 证明能够在敏捷团队环境中有效工作。 • 在金融行业或信用处理方面有经验。 • 有管理地理分散团队的境内/境外资源的历史。 • 客户面对的经验是加分项。 • 精通维护数据字典和Collibra中的其他信息。 • 出色的分析、组织和影响能力,成功项目的记录证明了这一点。 薪资信息:该职位的薪资范围为每年85,000.00 - 140,000.00美元,符合个人和公司表现的年度奖金资格。薪酬将根据经验和技能水平进行调整。 资格要求: • 必须年满18岁。 • 必须拥有高中毕业文凭或同等学历。 • 愿意在入职过程中接受药物测试和背景调查。 • 必须能够满足联邦法规的要求。 我们对多样性的承诺:我们致力于创造一个包容的文化,重视每个人的技能和经验。超过50%的员工参与员工资源小组(ERGs),促进社区和职业发展。所有合格申请者将不因年龄、种族、肤色、宗教、性别、性取向、性别认同、国籍、残疾或退伍军人身份而受到歧视。 合理便利通知:我们致力于为合格的残疾人提供合理的便利。如果您在申请或履行工作职责时需要帮助,请告知我们。 工作家庭组:信息技术