高级 Azure 大数据工程师

新加坡 5个月前全职 网络
3.9万 - 6.7万 / 月
我们是谁: 构建。扩展。维持。 PALO IT 是一家全球技术咨询公司,致力于将技术作为积极的力量。我们设计、开发和扩展数字和可持续的产品与服务,以在三重底线(人、地球、利润)中释放价值。我们做正确的事,并且做到最好。我们自豪地成为世界经济论坛的新冠军,以及获得 B Corp 认证的公司。 • 我们足够小,可以关心本地事务;足够大,可以在全球范围内提供服务(5 个大洲,18 个办公室,650 多名来自 50 多个国籍的专家) • 我们稳健而有韧性(100% 独立,无债务) • 我们是企业家和充满激情的专家:我们投资于真正相信的事物,并以集体智慧工作 • 我们积极、勇敢、关心他人,行动派,并致力于卓越 你的角色: 高级数据工程师将负责获取、存储、管理和处理大量结构化/非结构化数据。你将为大数据解决方案的架构组件选择提供愿景,并具备实施企业数据基础架构(如数据湖)所需的数据工程技能。最后,你将与 PALO IT 的其他专家紧密合作,包括数据智能、研究、用户体验设计、数字技术和敏捷团队,以在客户的数字网络中启用智能,并为他们带来重大影响。 你的职责: • 设计、实施和维护强大且可扩展的数据管道,以从各种来源获取、转换和处理结构化和非结构化数据。 • 构建和管理数据仓库和数据湖,实施高效的数据存储和检索机制。设计支持业务需求和分析用例的数据模型。 • 利用云平台(例如 AWS、Azure、GCP)设计和部署可扩展的数据基础设施,优化性能、成本效益和可靠性。 • 实施数据质量检查、验证流程和数据治理框架,以确保数据的准确性、完整性和符合安全标准。 • 持续监控和优化数据管道和基础设施,以改善处理速度、减少延迟并增强整体系统性能。 • 与数据科学家、分析师和其他利益相关者协作,了解他们的数据需求,提供技术专长,并交付满足业务目标的解决方案。 • 通过实施数据展示层,包括使用 Tableau、PowerBI 等工具进行数据可视化,支持业务用户。 • 跟上大数据和数据工程领域的新兴技术和行业趋势,评估和实施创新解决方案,以改善数据处理能力。 • 支持基础数据基础设施的定义和优化。 你是谁: • 你拥有 IT、信息管理和/或计算机科学的学士、硕士或博士学位,并且至少有 6 年的工作经验。 • 对大数据技术领域和与分布式存储/计算相关的概念有良好的了解。 • 具有大数据框架(例如 Hadoop、Spark)和发行版(Cloudera、Hortonworks、MapR)的经验。 • 具有批处理和 ETL 作业的经验,以从多个数据源获取和处理数据。 • 具有 NoSQL 数据库(例如 Cassandra、MongoDB、Neo4J、ElasticSearch)的经验。 • 具有查询工具(例如 Hive、Spark SQL、Impala)的经验。 • 具有 Power BI 的经验。 • 具有实时流处理的经验或意愿,使用 Kafka、AWS Kinesis、Flume 和/或 Spark Streaming 等解决方案。 • 具有或愿意学习 DevOps 和 DataOps 原则(例如基础设施即代码,自动化数据管道的不同部分)。 • 对数据科学概念和方法(模型如何构建、训练和部署)有较高的理解。 • 你对技术充满热情,持续学习对你来说是自然而然的事。 我们将优先考虑在新加坡拥有当前工作权利并且不需要签证赞助的申请者。 关于 PALO IT 的更多信息: 我们渴望适应变化,从经验中学习,并满足我们星球的紧迫需求。我们正在不断采取行动: • 成为气候净零公司 • 从具有积极影响的项目中获得 50% 的收入 • 让 100% 的员工接受影响培训 • 在全球所有办公室获得 B Corp 认证 • 持续测量和改善员工幸福感 我们的客户是全球最成功的公司之一。我们与既有的财富 1000 强、寻求产生影响的中小企业和初创公司创新,帮助他们成为全球领导者并应对世界上最复杂的挑战。 我们提供的内容 • 刺激的工作环境 • 独特的职业发展路径 • 国际流动性 • 内部研发项目 • 知识共享 • 个性化培训 有关我们的团队文化和福利的更多信息,请查看我们的职业页面。 PALO IT 新加坡是一个平等机会的雇主。就业决策将基于能力、资格和能力。Palo IT SG 不会基于种族、肤色、宗教、性别、性取向、国籍、年龄、残疾、婚姻状况或任何其他受法律保护的特征歧视就业机会或做法。 保护您的隐私和数据安全始终是 Palo-IT 的首要任务。 您的个人数据将用于管理 Palo-IT 的招聘相关活动,包括为申请者设置和进行面试和测试、评估和评估结果,以及在招聘和雇用过程中所需的其他事项。 请查阅我们的隐私声明,以了解我们如何收集、使用和转移候选人的个人数据。在这里,您可以找到如何请求访问、更正和/或撤回您的个人数据的信息。