职位:数据工程师(Cloudera)
新加坡政府科技公司已授予Info Cepts为政府部门、法定机构、国家机关和参与实体提供数据科学软件和服务。
• *关于Info Cepts*
• **什么是数据工程师?*
• 数据工程师的角色可以定义为具备设计和构建大规模数据收集、存储和分析系统的知识和技能的人。
• *角色和职责**:
- 监控集群连接和性能
- 管理和审查Hadoop分布式文件系统、YARN配置文件和日志文件
- 进行备份和恢复相关任务
- 处理资源和安全管理事务
- 驱动测试执行并向所有相关利益相关者报告,同时记录测试用例和测试结果
- 严格遵守定义的缺陷管理流程
- 通过进行详细分析来调查和解决所有相关技术问题
- 根据需要为所有技术问题提供根本原因分析
- 在软件工具管理协调方面提供支持,例如与产品供应商评估补丁和版本
• *所需技能**:
- 软件工程、计算机科学或相关领域的大专教育
- 3至5年的ETL开发经验
- 与Cloudera平台(Cloudera Data Flow)相关的经验 - Cloudera Data Flow(Ambari)
- 具备其他数据摄取工具(如Azure Data Bricks)的知识将是一个加分项
- 对分布式查询、性能调优、水平扩展和数据分区概念有深入理解
- 熟悉SQL、Oracle、R、MATLAB和Python等编程语言
- 准确性和注重细节,具备进行数据分析和报告敏锐观察的能力
- 擅长查询、撰写报告和进行演示的能力
- 团队合作能力
- 口头和书面沟通能力
• *工作类型**:全职,永久
• *薪资**:每月5000.00美元至7000.00美元
• *福利**:
- 健康保险
- 专业发展
• *工作时间**:
- 周一至周五
• *经验**:
- Cloudera Data Flow:1年(首选)
- Apache Ambari:1年(首选)
- ETL:1年(首选)