公司简介
NCS 是一家领先的技术服务公司，业务遍及亚太地区的 20 多个城市，提供咨询、数字服务、技术解决方案等。我们相信，利用技术的力量可以实现非凡的成就，为我们的社区、合作伙伴和员工创造持久的价值和影响。我们拥有 13,000 名多元化的员工，已为新加坡及亚太地区的政府和企业交付了大规模、关键任务和多平台项目。
职位描述
作为 Cloudera / 数据工程师，您将负责设计、构建和维护可扩展的数据管道和平台，重点关注 Cloudera Hadoop 生态系统。您将与数据分析师、科学家和业务利益相关者紧密合作，以确保数据的可访问性、质量和安全性。
您将做什么？
• 设计、构建和管理 Cloudera Hadoop 分发版 (CDH/CDP)。
• 使用 Apache NiFi、Hive、Spark 和 Impala 等工具开发和维护 ETL 管道。
• 管理和优化 HDFS、YARN、Kafka、HBase 和 Oozie 工作流。
• 监控和排查集群性能及作业，具备强大的问题解决和调试能力。
• 与 DevOps 和数据科学团队合作，将数据平台集成到应用程序和分析工作流中。
• 使用 Apache Ranger、Atlas 和 Kerberos 等工具确保数据治理、安全性和合规性。
• 指导和带领数据工程师团队交付稳健的数据解决方案。
资格要求
理想的候选人应具备：
• 10 年以上大数据工程经验，最好有 Cloudera 经验。
• 精通 Python、Java 和 Spark 的编程技能。
• 具备 Apache Spark、Hive、Impala 和 Kafka 的经验。
• 熟悉 Linux/Unix 和 Shell 脚本。
• 计算机科学、信息技术或相关领域的学位。
优先技能：
• Cloudera 认证专业人士 (CCP) 或 Cloudera 数据平台认证。
• 对云平台 (AWS、Azure 或 GCP) 和混合部署有经验/知识。
• 熟悉数据上下文中的 CI/CD 管道、Docker 或 Kubernetes。
附加信息
我们以 AEIOU 信念驱动 - 冒险、卓越、诚信、拥有和团结 - 我们寻求在职业和个人生活中体现这些价值观的个人。我们致力于我们的影响：重视我们的客户、培养我们的员工、创造我们的未来。
携手共创非凡。 
