概述:
该职位向自适应智能团队负责人汇报,重点是设计、实施和优化向量数据库,特别注重利用ChromaDB/Pinecone/FAISS进行向量应用。该职位涉及到为我们的数据基础设施的开发和维护做出贡献,确保对大型语言模型(LLMs)相关的复杂关系和向量进行高效处理。成功的候选人应该具有在实际问题中应用数据工程技能取得成就的经验,具有创新思维和能够为软件开发生命周期的各个阶段做出贡献的能力。候选人还将定期与各种内部利益相关者和领导进行交流,以协助制定问题、分配优先级并就计划提供状态更新。
职责:
• 理解各种数据点和组织
• 设计和实施向量数据库以高效存储和检索高维向量
• 优化向量操作的数据库查询和索引策略
• 架构和性能调优用于嵌入和文本相似性搜索的向量流水线
• 识别和解决性能瓶颈,确保高效的数据检索
• 与应用程序开发人员合作,将向量数据库集成到各种流水线中,如前端用户界面、批处理流水线等
• 为应用程序特定需求实施和维护查询优化和数据建模
• 为向量数据库实施和维护数据安全措施
• 确保符合相关的数据保护法规和行业标准
• 与数据科学家、软件工程师和产品经理等跨职能团队紧密合作
• 将技术概念和解决方案有效地传达给技术和非技术利益相关者
• 故障排除、改进和扩展持续集成、持续交付和持续部署(CI/CD)流水线
• 撰写设计文档,为新系统组件和现有组件的增强建立共识
• 参与与业务伙伴的问题定义和设计会议,以全面了解业务问题
• 研究新的向量数据库及其在再保险领域的应用潜力
• 与慕尼黑再保险公司的其他人工智能和IT团队合作解决共同问题
• 审查来自数据科学家和软件工程师的请求,并确保代码库的一致性、性能、可读性和安全性
• 开发文档,与其他工程师/科学家共享知识
资格:
• 3年以上相关行业经验,部署数据库工程解决方案
• 软件工程、计算机科学、计算机工程或相关统计学专业的学士或硕士学位
• 对分布式数据库系统的了解
• 熟悉与向量数据相关的机器学习和人工智能概念,如检索增强生成(RAG)
• 有云数据库解决方案的经验,特别是在Azure中的经验,但有类似的AWS或Google经验也可以
• 在Azure DevOps和Azure云服务(如Azure Blob、Azure Key Vault、Azure Data Factory)方面有经验,或者在AWS或Google方面有类似的经验
• 在设计和实施向量数据库方面有丰富经验,特别注重ChromaDB/Pinecone/FAISS等向量应用
• 熟练掌握嵌入、向量化、向量存储、数据库优化、性能调优和相关查询语言
• 熟悉嵌入、检索算法、代理、向量开发图的数据建模经验
• 有LLM和其他相关框架(如Langchain、LLamaCPP等)的经验
• 在Python、Java或Scala等相关编程语言上具有丰富的编程经验
• 在自然语言处理、计算机视觉、机器学习或深度学习等任何一个领域有基础的理解
• 有CI/CD流水线、自动化测试、自动化部署、敏捷方法论、单元测试和集成测试工具的经验
• 出色的解决问题的能力和在协作团队环境中工作的能力
• 出色的沟通能力
• 在各种技术和业务团队之间进行协作
• 参与与业务利益相关者的需求收集会议
• 为创造积极和包容的环境做出贡献