Python工程师 - 股票技术的AI
我们正在构建一个尖端的数据转换平台，旨在将非结构化数据转换为结构化、机器可读的格式，以用于AI和分析工作流程。该平台处理大量异构数据，应用高级解析方法、丰富技术和LLM驱动的提取，以生成高质量的数据集供下游应用使用。该系统的一个关键组件是文档检索REST服务，它作为访问转换后数据的接口。此服务确保与数据管道的无缝集成，并提供高效、可扩展的文档检索能力。
作为组织AI生态系统的基石，该系统确保可靠的数据摄取、模型就绪的表示以及跨多个产品和内部服务的无缝信息流。您将在开发和优化下一代数据处理管道以及维护文档检索REST服务中发挥关键作用，这些服务支持大规模的智能应用和自动化决策。
您的角色和影响
作为高级Python工程师，您将在设计、开发和优化高性能数据转换管道和文档检索REST服务中发挥重要作用。您将利用在软件工程和AI/NLP方法方面的专业知识，提供可扩展、准确和稳健的解决方案。此角色提供了在受监管、数据密集型环境中应用高级语言模型技术的机会，同时为更广泛的AI生态系统做出贡献。
主要职责
• 数据管道：设计、构建和维护模块化、高吞吐量的管道，使用传统解析方法和AI驱动技术摄取和转换多种数据类型。
• 文档检索服务：负责开发和维护文档检索REST服务，确保与数据管道的无缝集成和高性能文档检索。
• 数据库优化：管理和优化MongoDB数据库，确保通过索引优化等技术实现可扩展性、性能和高效的文档检索。
• 统计分析与治理：对摄取和检索的数据进行统计分析，执行治理政策，并管理数据管道的权限。
• 元数据规范化：确保元数据结构保持规范化，同时适应多样化数据源的广度。
• AI/NLP集成：使用现代LLM编排框架设计和优化提示、提取逻辑和工作流程，以准确解释复杂数据。
• 算法开发：使用标准数据处理库实现解析、分段、向量化和结构化输出生成的算法。
• 云部署：在主要云平台上构建和部署解决方案，确保可扩展性和可靠性。
• 生产级代码：为基于Linux的环境编写具有弹性、生产就绪的代码。
• 跨职能协作：在敏捷团队中与分析师、领域专家和平台工程师合作，提供高质量的解决方案。
• 代码质量：保持高标准的代码质量、测试和文档。
必备资格
• Python专业知识：5年以上专业Python经验，具备强大的OOP原则、设计模式和大规模系统开发能力。
• 数据处理：具有数据处理和数值库（如Pandas、NumPy）的丰富经验。
• AI/LLM集成：具有LLM集成应用框架和AI驱动工作流程的实际经验。
• 数据转换：在多种格式（结构化、半结构化、非结构化）数据解析和转换方面有丰富经验。
• 云平台：具有在主要云提供商（如AWS、Azure、GCP）上部署解决方案的经验。
• 数据库技能：强大的数据库能力和优化数据库（首选NoSQL）的集成经验。
• Linux熟练度：熟悉Linux/Unix环境，具备Shell脚本编写能力。
优先资格
• 领域经验：具有数据密集型或金融行业背景。
• 业务数据熟悉度：具有处理结构化和半结构化业务数据的经验。
• NLP专业知识：熟悉NLP工具包、嵌入技术和文本处理管道。
• ETL系统：具有构建和维护大规模ETL或数据处理系统的经验。
• 企业基础设施：接触过企业工具，如调度器、监控系统和认证框架。
• 测试框架：具有数据管道和API自动化测试框架的经验。
软技能
• 沟通能力：清晰和结构化的沟通能力，以有效地与跨职能利益相关者合作。
• 问题解决：具有强大的分析思维，专注于责任和问责。
• 团队协作：能够在敏捷团队中与多样化的利益相关者合作。
为什么加入我们？
这是一个参与变革性AI驱动平台的激动人心的机会，该平台直接影响大规模的智能决策。您将与才华横溢的团队合作，解决复杂的技术挑战，并为AI驱动的数据处理的未来做出贡献。
该职位的预计基本工资范围为175,000美元至250,000美元，具体适用于纽约，并可能在未来发生变化。Millennium提供的总薪酬包包括基本工资、酌情绩效奖金和全面的福利包。在确定报价时，我们会考虑个人的经验水平和他们为该角色带来的资格，以制定具有竞争力的总薪酬包。
