数据湖/Hadoop开发人员

15个月前全职
Quant Solutions

Quant Solutions

location 纽约
unsaved
职位名称:数据湖/Hadoop开发人员 工作地点:北卡罗来纳州夏洛特 工作时长:全职 职位描述: • 作为Cloudera开发人员,负责使用Cloudera平台开发和维护数据解决方案。 • 与数据工程师、数据科学家和业务利益相关者密切合作,了解数据需求并提供强大可扩展的数据解决方案。 • 主要关注设计、开发和实施数据处理流程和数据摄取框架。 • 理想的候选人擅长使用PySpark、ezflow等方法在Hadoop环境中移动数据。 主要职责: • 在设计和开发客户需求时利用多个架构组件。 • 维护、改进、清理和操作运营和/或分析数据系统的数据。 • 不断寻找解决技术问题和设计解决方案的更好方法,勇于挑战现状。 • 记录和传达部署、维护、支持和业务功能所需的信息。 • 遵守团队交付/发布流程和代码部署和发布相关规定。 • 必须具备通过基于数据的洞察力推动业务结果的能力。 • 合适的候选人将热衷于发现大数据集中隐藏的解决方案,并与利益相关者合作改善业务结果。 • 使用Cloudera技术(如Apache Hadoop、Apache Spark、Apache Hive和Python)设计、开发和维护数据处理流程。 • 与数据工程师和数据科学家合作,了解数据需求并将其转化为技术规格。 • 开发和维护数据摄取框架,以高效地从各种来源提取、转换和加载数据到Cloudera平台。 • 优化和调整数据处理作业,确保高性能和可扩展性。 • 实施数据治理和安全策略,确保数据完整性和合规性。 • 监控和排除数据处理作业中的问题,及时解决。 • 对数据解决方案进行单元测试和调试,确保高质量和可靠性。 • 记录技术规格、数据流和数据架构图。 • 了解Cloudera技术和大数据分析的最新进展和最佳实践。 资格要求: • 具备强大的问题解决能力,注重产品开发。 • 有与数据架构工作和创建数据架构的经验。 • 具备协调团队工作的出色书面和口头沟通能力。 • 热衷于学习和掌握新技术和技巧。 • 有AutoSys工作经验。 • 有5-7年分布式数据/计算工具(如Hadoop、Hive、MySQL等)的经验。 工作类型:全职 工作地点:现场工作