大数据工程师

无个税14个月前全职
Beyond Limits

Beyond Limits

location 迪拜
unsaved
Beyond Limits是一家开创性的人工智能工程公司,致力于开发超越传统人工智能的先进软件解决方案。成立于2014年,Beyond Limits拥有太空探索的传统,正在将加州理工学院(Caltech)和美国国家航空航天局喷气推进实验室(NASA's Jet Propulsion Laboratory)的成熟技术转化为工业级强化的高级人工智能解决方案,并应用于地球上具有前瞻性的公司。我们利用这一无与伦比的创新组合,结合专有的认知技术,帮助公司解决棘手、复杂和关键性的问题,实现业务转型。我们采用独特的混合人工智能方法,将数值型人工智能技术(如机器学习)与高级符号型人工智能和专家人类知识相结合,提供直观的认知推理和信息。我们的认知计算技术模拟人类思维过程,并提供可解释的推理,以辅助类似人类的决策。 职位概述: 我们正在寻找一名技术娴熟的高级大数据工程师加入我们位于约旦的充满活力的团队。理想的候选人应具备丰富的设计、开发和实施大规模数据处理系统的经验。他们将负责架构和构建强大的数据管道,优化数据工作流程,并确保我们的大数据基础设施具备可扩展性、可靠性和性能。 工作职责: • 设计、开发和维护可扩展的大数据管道和工作流程,从各种来源摄取、处理和分析大量数据。 • 与跨职能团队合作,了解数据需求并将其转化为技术解决方案。 • 实施数据处理算法和机器学习模型,用于预测分析和数据驱动决策。 • 优化数据存储、检索和处理技术,以提高系统性能和效率。 • 进行数据质量评估、数据验证和数据清洗,以确保数据的准确性、完整性和完整性。 • 解决大数据基础设施中的问题并及时提供解决方案,以最小化停机时间和中断。 • 了解大数据处理、分布式计算和数据工程最佳实践中新兴技术和行业趋势。 • 指导初级工程师,在大数据技术和方法论方面提供技术指导和领导力。 最低资格: • 在大数据工程、数据仓库或相关领域拥有14年以上的经验。 • 工程学或相关领域的学士学位。 • 熟练掌握Java、Scala、Python或类似的编程语言。 • 具有大数据技术和框架(如Hadoop、Spark、Kafka、Hive、HBase等)的实际经验。 • 对分布式计算原理有深入理解,并具备使用云端大数据平台(如AWS、Azure、GCP)的经验。 • 具备设计和实施数据处理管道的经验。 • 了解关系型数据库和NoSQL数据库、数据建模技术和SQL查询。 • 出色的解决问题能力、注重细节,并能够在快节奏的环境中独立工作和协作。 • 出色的沟通和人际交往能力,能够将技术概念有效地传达给非技术人员。 首选资格: • 在石油和天然气或类似领域有经验。 • 有Docker、Kubernetes等容器化技术的经验。 • 熟悉DevOps实践和自动化部署、持续集成和持续交付的工具。 • 相关技术或方法论的认证(如AWS认证的大数据专业、Google专业数据工程师等)。 Beyond Limits提供平等的就业机会,不因种族、肤色、宗教、性别、国籍、年龄、残疾或基因而歧视员工和申请人。除了联邦法律要求外,Beyond Limits还遵守适用的州和地方法律,禁止在公司设施所在地进行就业歧视。本政策适用于招聘、雇佣、安置、晋升、解雇、裁员、召回、调动、休假、薪酬和培训等所有就业条款和条件。 Beyond Limits严禁以种族、肤色、宗教、性别、性取向、性别认同或表达、国籍、年龄、基因信息、残疾或退伍军人身份为基础的工作场所骚扰。对Beyond Limits员工履行工作职责的能力进行不当干扰可能导致纪律处分,包括解雇。