领先的大数据工程师

15个月前全职
8K - 11K SGD THE GREAT EASTERN LIFE ASSURANCE COMPANY LIMITED

THE GREAT EASTERN LIFE ASSURANCE COMPANY LIMITED

location 新加坡
unsaved
职位目标 在大东方,我们正在建立一个数据平台,以实现我们数据的全部价值。我们正在寻找一名运营人员加入我们的集团数据部门。 这个角色的主要目的是设计、构建和维护系统和流程,以高效、可靠和安全的方式管理和分析大量数据。这涉及与数据科学家、数据工程师和数据分析师等其他团队合作,确保数据能够及时地处理、转换和交付,以满足业务需求。 这是一个需要技术专长的实际操作角色,包括数据摄取、转换、存储和报告等数据和分析服务的交付,并努力不断发展新的和改进的数据工程能力,包括数据平台监控和运维,管理包括大数据平台、数据科学平台和行业领先的商业智能和可视化产品,并利用各种DataOps、数据仓库和系统管理方法和学科。 工作内容 · 推动优化、测试和工具化,以提高数据质量,并审核数据流程的解决方案设计 · 设计、创建和维护最佳的数据流程解决方案,以满足业务、技术和用户需求。 · 确保所提出的解决方案与大数据架构指南和路线图相一致。 · 支持数据景观和开发最佳实践。 · 参与平台创新的概念验证,并有效地将这些概念过渡和扩展到大规模生产。 · 为平台增强、容量管理、性能监控、故障排除和解决技术问题做出贡献。 · 确定、设计和实施流程改进,包括自动化手动流程和优化数据交付。 · 对数据和数据流程负责,确保符合数据标准、架构标准和业务需求。 · 简化基于数据和数据分析的应用程序的设计、开发和维护。 · 对商业智能、分析和业务应用程序提供临时和系统支持。 · 参与数据流程、部署、测试、发布、安全和监控流程的管理和自动化。 · 参与数据生态系统中分析系统的实施、升级、更新、补丁、增强和定制。 · 评估并最佳利用大数据平台,特别是Cloudera Data Platform CDP、AI/ML平台Dataiku、MariaDB和Tableau。 · 提高数据资产的性能、安全性和组织性。 · 鉴定并推荐硬件、软件和服务升级的需要。 · 监控和改进数据生态系统中分析系统的性能、效率、效果和协调性。 · 根据适用的政策和程序,为分析系统和数据资产提供访问权限。 · 参与制定标准、程序、设计模式和技术框架。 · 考虑业务和合规风险,采取适当措施减轻风险。 · 了解合规风险、新兴威胁和技术的行业趋势,以了解风险并更好地保护公司。 · 强调任何潜在的关注/风险,并主动分享最佳的风险管理实践。 我们的要求 计算机科学、软件工程、商业分析或等同学位,具有8年以上分布式系统(如大数据Hadoop)的经验。 · 精通Hadoop:具有Cloudera Data Platform CDP(Spark、HDFS、Hive、Sqoop、Airflow、Docker)的经验 · 管理数据基础设施:具有数据平台基础设施监控和事故处理经验。 · 熟悉SQL:具有MariaDB或其他关系型数据库管理系统的经验。 · ETL经验:具有设计和实施ETL流程的经验,包括从各种来源提取、转换和加载数据到集中式数据仓库。 · 编程技能:具有一种或多种编程语言(如Python、Java或Scala)的经验,并能够开发自定义的Shell脚本和应用程序进行数据操作和监控。 · 数据仓库:对数据仓库概念有很好的理解,包括数据架构、维度建模和ETL流程。 · 分析技能:他们应该能够分析复杂的数据集,识别模式,并开发洞察力以支持业务决策。 · DevOps经验:具有DevOps工具和环境(BitBucket、Jira、Bomboo)的经验 · 敏捷方法经验 · 在用户需求收集、维护和支持方面有较强的能力 · 能够分析和理解复杂问题 · 协作能力:与数据分析师、数据工程师、数据科学家和其他利益相关者紧密合作,了解他们的数据需求并提供解决方案。应具备良好的沟通和协作能力。 · 高度诚信,对工作负责,并具有良好的团队合作态度。 · 积极主动改进现状,并适应接受新变化。 关于大东方 大东方成立于1908年,我们将客户置于我们一切工作的核心。我们的传统不仅体现在我们的产品和服务上,还体现在我们的文化中,这是由我们的核心价值观和我们的工作方式所定义的。作为诚信、主动和参与的倡导者,我们的核心价值观是指南,指引和激励我们拥抱与每个价值观相关的行为,履行我们对客户的承诺 - 以可持续的方式继续为他们做出最好的服务。 我们与利益相关者合作,寻找能够体现或有潜力拥抱我们的核心价值观和相关行为的候选人,因为这些是我们从员工身上期望的关键特质,他们在与我们共同发展事业时应该具备这些特质。 我们秉持包容性,给予所有员工平等的机会来展示自己的才能,并在探索可能性、提供创新的保险解决方案中发挥自己的作用。 自2018年起,大东方成为联合国可持续保险原则的签署方。我们的可持续发展方法围绕环境、社会和治理(ESG)考虑在每个业务决策中发挥着重要作用。我们致力于成为一个以可持续发展为驱动的公司,通过管理我们运营的环境足迹、将ESG考虑因素纳入我们的投资组合,改善人们的生活,帮助客户更健康、更好地生活,并通过重要的ESG风险管理推动负责任的商业实践。 对于所有招聘机构:大东方不接受未经请求的机构简历。请不要将简历发送到我们的电子邮件或我们的员工。我们不会对与未经请求的简历相关的任何费用负责。