职位描述
我们正在寻找一位熟练的数据工程师，使用生成性人工智能和大型语言模型等新兴技术，构建下一代数据管道和应用程序，跨越各种系统。
您将有机会与内部利益相关者、数据科学家、可视化专家和技术人员合作，开发灵活且可扩展的分析应用程序和数据仓库。我们希望找到一位精通设计、构建和支持API、机器学习服务和框架，以及基础数据仓库技术的人。
您的主要工作将是构建可靠、高效和可扩展的管道，以供LLMs使用，并打造我们的LLM分析愿景。您将在定义团队战略、评估和整合数据模式和技术方面发挥重要作用，并与领域专家和数据科学家共同构建管道。
职责：
• 设计、构建和扩展跨各种源系统、分布式环境和下游应用程序的数据管道。
• 深刻理解机器学习的最佳实践和算法。
• 扎实理解数据建模、仓储和架构原则。
• 在优化性能、成本、安全性和规模的同时实施设计模式。
• 与跨职能团队合作，理解数据需求并开发高效的数据获取策略。
• 与技术团队接口，使用云原生数据工程原则从各种源中提取、加载和转换数据。
• 成为数据工程相关技术和设计的主题专家。
• 指导和辅导组织内其他人，基于基础数据工程原则构建可扩展的管道。
• 参与开发冲刺、演示和回顾，与发布和部署一起进行。
• 与支持工程团队建立和管理关系，以有效地将工作产品交付到生产环境。
• 与数据科学家、业务分析师和机器学习基础设施良好合作，连接业务和技术合作伙伴之间的点。
• 为您的代码开发自动化测试，确保与多个系统的兼容性。
• 为开发人员和业务用户创建文档，帮助他们理解产品。
• 在矩阵化组织内与多学科团队协作，利用强大的人际交往能力来应对系统复杂性并高效部署解决方案。
• 部署到基于云的平台，并在必要时排除应用程序、云和配置问题。
• 利用代码和测试生成工具加速功能和组件的交付。
资格要求：
• 8年以上数据工程师经验，重点是领导数据工程团队。
• 熟悉GenAI技术，如LLMs、向量数据库或AI驱动的数据管道。
• 能够批判性地思考问题，解读用户偏好与挑战性需求，并有效利用在线和现场资源找到合适的解决方案。
• 在敏捷开发环境中茁壮成长的证明能力，善于吸收反馈并调整优先级。
• 理解基于REST的API、向量化嵌入和检索增强生成AI工作负载组件。
• 具有数据建模、ETL/ELT开发原则、云开发和数据仓库概念的直接经验。
• 了解AWS、Azure、GCP等云技术。
• 了解数据管理基础和数据存储原则。
• 使用Python/SQL或类似编程语言构建数据管道的经验。
• 一般了解云数据工程设计模式和用例。
• 计算机科学、数据科学、统计学、信息学、信息系统或相关领域的学士学位。
福利：
该职位符合公司提供的福利，包括医疗、牙科和视力保险、401(k)、带薪休假、学费报销以及各种其他折扣和福利。
附加要求：
• 完全远程：该职位已被指定为完全远程，意味着该职位预计将从非NBCUniversal工作场所贡献。
该职位对外部候选人持续开放。 
纽约