高级 Azure 大数据工程师

新加坡 5个月前全职 网络
3.9万 - 6.7万 / 月
我们是谁: 构建。扩展。维持。 PALO IT 是一家全球技术咨询公司,致力于将技术作为一种积极的力量。我们设计、开发和扩展数字和可持续的产品与服务,以在三重底线(人、地球、利润)中释放价值。我们做正确的事情,并且做到这一点。我们自豪地成为世界经济论坛新冠军和 B Corp 认证公司。 • 我们足够小以关心本地,足够大以全球交付(5 大洲,18 个办公室,来自 50 多个国籍的 650 多位专家) • 我们稳健且有韧性(100% 独立且无债务) • 我们是企业家和充满热情的专家:我们投资于我们真正相信的事物,并作为集体智慧工作 • 我们积极、勇敢、关心、行动、并致力于卓越 您的角色: 高级数据工程师将负责获取、存储、管理和处理大量的结构化/非结构化数据。您将为选择用于这些目的的最佳架构组件提供大数据解决方案的愿景,并具备实施企业数据基础设施(如数据湖)所需的数据工程技能。最后,您将与 PALO IT 的数据智能、研究、用户体验设计、数字技术和敏捷团队的其他专家紧密合作,以在我们客户的数字网络中实现智能,为他们带来重大影响。 您的职责: • 设计、实施和维护强大且可扩展的数据管道,以从各种来源摄取、转换和处理结构化和非结构化数据。 • 构建和管理数据仓库和数据湖,实现高效的数据存储和检索机制。设计支持业务需求和分析用例的数据模型。 • 利用云平台(例如 AWS、Azure、GCP)设计和部署可扩展的数据基础设施,优化性能、成本效益和可靠性。 • 实施数据质量检查、验证过程和数据治理框架,以确保数据的准确性、完整性,以及符合安全标准。 • 持续监控和优化数据管道和基础设施,提高处理速度,减少延迟,增强整体系统性能。 • 与数据科学家、分析师和其他利益相关者协作,了解他们的数据需求,提供技术专长,并交付符合业务目标的解决方案。 • 通过实施数据展示层,包括使用 Tableau、PowerBI 等工具的数据可视化,支持业务用户。 • 关注大数据和数据工程领域的新兴技术和行业趋势,评估并实施创新解决方案以改善数据处理能力。 • 支持基础数据基础设施的定义和优化。 您是谁: • 您拥有 IT、信息管理和/或计算机科学的学士、硕士或博士学位,并具有至少 6 年的工作经验。 • 对大数据技术领域及与分布式存储/计算相关的概念有良好的了解。 • 具有大数据框架(例如 Hadoop、Spark)和发行版(Cloudera、Hortonworks、MapR)的经验。 • 具有批处理和 ETL 作业的经验,以从多个数据源摄取和处理数据。 • 有 NoSQL 数据库(例如 Cassandra、MongoDB、Neo4J、ElasticSearch)的经验。 • 具有查询工具(例如 Hive、Spark SQL、Impala)的经验。 • 具有 Power BI 的经验。 • 有实时流处理的经验或愿意学习,使用 Kafka、AWS Kinesis、Flume 和/或 Spark Streaming 等解决方案。 • 有 DevOps 和 DataOps 原则的经验或愿意学习(例如基础设施即代码,自动化数据管道的不同部分)。 • 对数据科学概念和方法有高水平的理解(模型是如何构建、训练和部署的)。 • 您对技术充满热情,持续学习对您来说是自然而然的事。 我们将优先考虑在新加坡拥有当前工作权利的申请者,并且不需要签证赞助。 关于 PALO IT 的更多信息: 我们渴望适应变化,从经验中学习,并努力满足我们星球的紧迫需求。我们持续采取行动: • 成为气候净零公司 • 从具有积极影响的项目中获得 50% 的收入 • 培训 100% 的员工了解影响 • 在全球所有办公室中获得 B Corp 认证 • 持续衡量和改善员工幸福感 我们的客户是世界上最成功的公司之一。我们与既有的财富 1000 强、中小企业以及旨在产生影响、成为全球领导者并应对世界上最复杂挑战的初创公司进行创新。 我们提供的内容 • 刺激的工作环境 • 独特的职业发展路径 • 国际流动性 • 内部研发项目 • 知识共享 • 个性化培训 有关我们团队文化和福利的更多信息,请查看我们的职业页面。 PALO IT 新加坡是一个平等机会的雇主。招聘决定将基于绩效、资格和能力。Palo IT SG 不会在种族、肤色、宗教、性别、性取向、国籍、年龄、残疾、婚姻状况或任何其他法律保护的特征基础上歧视招聘机会或实践。 保护您的隐私和数据安全是 Palo-IT 长期以来的首要任务。 您的个人数据将用于管理 Palo-IT 的招聘相关活动,包括为申请者安排和进行面试和测试、评估和评估结果,以及在招聘和雇用过程中需要的其他事项。 请查阅我们的隐私声明,了解我们如何收集、使用和转移候选人的个人数据。在这里,您可以找到如何请求访问、更正和/或撤回您的个人数据的信息。