高级数据工程师 (Azure Fabric) - 合同

新加坡 4个月前全职 网络
3.9万 - 6.7万 / 月
我们是谁: 构建。扩展。维持。 PALO IT 是一家全球技术咨询公司,致力于将技术作为推动积极变革的力量。我们设计、开发并扩展数字和可持续的产品和服务,以在三重底线(人、地球、利润)中释放价值。我们做正确的事情,并且做到尽善尽美。我们自豪地成为世界经济论坛的新冠军,以及获得 B Corp 认证的公司。 • 我们小到足够关心本地,大到能够全球交付(5 大洲,18 个办公室,650 多名来自 50 多个国籍的专家) • 我们稳健且有韧性(100% 独立且无债务) • 我们是企业家和充满激情的专家:我们投资于真正相信的事物,并作为集体智慧工作 • 我们积极、勇敢、关心、行动并致力于卓越 您的角色: 高级数据工程师将负责获取、存储、管理和处理大量结构化/非结构化数据。您将为大数据解决方案的架构组件选择提供愿景,并具备实施企业数据基础(如数据湖)的数据工程技能。最后,您将与 PALO IT 的其他数据智能、研究、用户体验设计、数字技术和敏捷团队的专家紧密合作,以在客户的数字网络中实现智能,为他们带来重大影响。 您的职责: • 设计、实施和维护强大且可扩展的数据管道,以从各种来源获取、转换和处理结构化和非结构化数据。 • 构建和管理数据仓库和数据湖,实施高效的数据存储和检索机制。设计支持业务需求和分析用例的数据模型。 • 利用云平台(例如 AWS、Azure、GCP)设计和部署可扩展的数据基础设施,优化性能、成本效益和可靠性。 • 实施数据质量检查、验证流程和数据治理框架,以确保数据的准确性、完整性和符合安全标准。 • 持续监控和优化数据管道和基础设施,以提高处理速度、减少延迟并增强整体系统性能。 • 与数据科学家、分析师及其他利益相关者协作,了解他们的数据需求,提供技术专长,并交付符合业务目标的解决方案。 • 通过实施数据展示层,包括使用 Tableau、PowerBI 等工具的数据可视化,支持业务用户。 • 及时了解大数据和数据工程领域的新兴技术和行业趋势,评估和实施创新解决方案以改善数据处理能力。 • 支持基础数据基础设施的定义和优化 您是谁: • 您拥有 IT、信息管理和/或计算机科学的学士、硕士或博士学位,并有至少 6 年的相关经验。 • 对大数据技术领域及分布式存储/计算相关概念有良好的了解 • 必须具备 Azure Fabric 的经验 • 具备大数据框架(如 Hadoop、Spark)和发行版(Cloudera、Hortonworks、MapR)的经验 • 具备批处理和 ETL 作业的经验,以从多个数据源获取和处理数据 • 具备 NoSQL 数据库(如 Cassandra、MongoDB、Neo4J、ElasticSearch)的经验 • 具备查询工具(如 Hive、Spark SQL、Impala)的经验 • 具备 Power BI 的经验 • 有实时流处理的经验或愿意学习,使用 Kafka、AWS Kinesis、Flume 和/或 Spark Streaming 等解决方案 • 有 DevOps 和 DataOps 原则(如基础设施即代码、自动化数据管道的不同部分)的经验或愿意学习 • 对数据科学概念和方法论(模型的构建、训练和部署)有较高的理解 • 您对技术充满热情,持续学习对您来说是自然而然的事 我们将优先考虑在新加坡拥有当前工作权利且不需要签证赞助的申请者。 关于 PALO IT 的更多信息: 我们渴望适应变化,从经验中学习并满足我们星球的紧急需求。我们不断采取行动: • 成为气候净零公司 • 从具有积极影响的项目中获得 50% 的收入 • 对 100% 的员工进行影响力培训 • 在全球所有办公室中获得 B Corp 认证 • 持续衡量和改善员工幸福感 我们的客户是全球最成功的公司之一。我们与既有的财富 1000 强、希望产生影响的中小企业和初创公司合作,成为全球领导者并应对世界上最复杂的挑战。 我们提供的: • 刺激的工作环境 • 独特的职业发展路径 • 国际流动性 • 内部研发项目 • 知识共享 • 个性化培训 有关我们的团队文化和福利的更多信息,请查看我们的职业页面。 PALO IT 新加坡是一个平等机会的雇主。就业决定将基于能力、资格和能力。Palo IT SG 不会基于种族、肤色、宗教、性别、性取向、国籍、年龄、残疾、婚姻状况或法律保护的任何其他特征在就业机会或实践中歧视。 保护您的隐私和数据安全是 Palo-IT 长期以来的首要任务。 您的个人数据将用于管理 Palo-IT 的招聘相关活动,包括为申请者设置和进行面试和测试、评估和评估结果,以及在招聘和雇用过程中所需的其他事项。 请查阅我们的隐私声明,以了解我们如何收集、使用和转移候选人的个人数据。您可以在此找到如何请求访问、修正和/或撤回您的个人数据的信息。