职位名称:数据湖/Hadoop开发人员
工作地点:北卡罗来纳州夏洛特
工作时长:全职
职位描述:
• 作为Cloudera开发人员,负责使用Cloudera平台开发和维护数据解决方案。
• 与数据工程师、数据科学家和业务利益相关者密切合作,了解数据需求并提供强大可扩展的数据解决方案。
• 主要关注设计、开发和实施数据处理流程和数据摄取框架。
• 理想的候选人擅长使用PySpark、ezflow等方法在Hadoop环境中移动数据。
主要职责:
• 在设计和开发客户需求时利用多个架构组件。
• 维护、改进、清理和操作运营和/或分析数据系统的数据。
• 不断寻找解决技术问题和设计解决方案的更好方法,勇于挑战现状。
• 记录和传达部署、维护、支持和业务功能所需的信息。
• 遵守团队交付/发布流程和代码部署和发布相关规定。
• 必须具备通过基于数据的洞察力推动业务结果的能力。
• 合适的候选人将热衷于发现大数据集中隐藏的解决方案,并与利益相关者合作改善业务结果。
• 使用Cloudera技术(如Apache Hadoop、Apache Spark、Apache Hive和Python)设计、开发和维护数据处理流程。
• 与数据工程师和数据科学家合作,了解数据需求并将其转化为技术规格。
• 开发和维护数据摄取框架,以高效地从各种来源提取、转换和加载数据到Cloudera平台。
• 优化和调整数据处理作业,确保高性能和可扩展性。
• 实施数据治理和安全策略,确保数据完整性和合规性。
• 监控和排除数据处理作业中的问题,及时解决。
• 对数据解决方案进行单元测试和调试,确保高质量和可靠性。
• 记录技术规格、数据流和数据架构图。
• 了解Cloudera技术和大数据分析的最新进展和最佳实践。
资格要求:
• 具备强大的问题解决能力,注重产品开发。
• 有与数据架构工作和创建数据架构的经验。
• 具备协调团队工作的出色书面和口头沟通能力。
• 热衷于学习和掌握新技术和技巧。
• 有AutoSys工作经验。
• 有5-7年分布式数据/计算工具(如Hadoop、Hive、MySQL等)的经验。
工作类型:全职
工作地点:现场工作