职位:首席软件工程师-数据(AI和NLP)
由淡马锡创办和资助,
• * Splore
• *是一家专注于为元宇宙一代重新构想搜索和发现的初创企业。元宇宙一代指的是首选在线用户,他们重视沉浸式数字体验,以新颖的方式利用人工智能和其他技术,并在在线社区中进行互动。
- 我们的使命是使用户能够在这个新世界中创建和消费内容,如游戏玩家,以超越传统搜索的范围找到和发现内容。
我们正在寻找一位有才华和经验丰富的首席/高级软件工程师加入我们的搜索引擎AI团队。
您将负责设计、开发和实施利用人工智能和机器学习解决复杂问题的数据驱动解决方案。
您将与跨职能团队密切合作,包括产品经理、AI团队和UX设计师,为游戏玩家构建最佳的搜索引擎体验。
• * 在这个角色中,您需要**:
- 利用您对数据技术的深刻理解,包括数据库、数据仓库、数据管道和数据处理框架,设计和开发稳健可扩展的数据解决方案
- 使用SQL和NoSQL数据库等各种数据技术,高效地存储和检索大量结构化和非结构化数据
- 利用Hadoop、Spark和Kafka等数据处理框架分析和处理大规模数据,确保高性能和可靠性
- 设计和实现数据管道,以在数据基础设施的系统和组件之间高效可靠地移动和转换数据
- 通过索引、分区和其他性能调优技术优化数据处理和查询性能
- 实施数据质量检查,并确保遵循数据完整性和合规性的数据治理实践
- 实施适当的数据安全措施和访问控制,以保护敏感数据
- 与数据科学家、数据分析师和其他工程师等跨职能团队合作,了解需求并交付高质量的数据解决方案
- 通过有效的调试和故障排除技术,识别和解决与数据相关的问题、性能瓶颈和其他技术问题
- 保持对新兴数据技术和行业趋势的更新。不断提升您的技能和知识,推动数据工程的创新和效率
- 计算机科学、信息技术或相关领域的学士或硕士学位
- 作为软件工程师具有8到10年相关经验,专注于数据技术
- 对数据库、数据仓库、数据管道和数据处理框架有深入的了解
- 对一系列数据技术(如SQL、NoSQL、Hadoop、Spark、Kafka、Air Byte、Airflow、Data Hub、Great Expectations、DBT和Elasticsearch)有经验和/或熟悉
- 熟练掌握数据工程中常用的编程语言,如Python、Java或Scala
- 有设计和开发数据管道、数据处理和数据集成解决方案的经验
- 对数据建模和数据库设计原则有深入了解
- 具备设置端到端数据基础设施(如数据湖)的经验,重点关注数据质量监控和数据血缘追踪
- 熟悉数据仓库概念和技术
- 强大的解决问题和分析能力
以下是有益的:
- 拥有者心态:
可靠,对自己的工作质量感到自豪。
- 渴望:探索和提高构建搜索体验的标准的愿望,渴望拥抱新的和未知的事物
- 沟通者:
具备与工程、产品、业务和客户团队的利益相关者沟通的能力