1周前 | 成为前25位申请者之一
作为前沿AI公司的领先数据和评估合作伙伴，Scale致力于推进大型语言模型（LLM）的评估和基准测试。我们正在构建行业领先的LLM评估，设定模型性能评估的新标准。
我们的使命是开发严格、可扩展且公平的评估方法，以推动下一代AI能力的发展。
我们的研究团队与行业领先的AI实验室合作，提供高质量的数据，加速生成AI研究的进展。
作为LLM评估团队的资深机器学习研究科学家，您将领导新评估方法、指标和基准的开发，以衡量前沿LLM的能力和局限性。
您将帮助定义生成AI的优秀标准，推动研究以指导我们的内部路线图和更广泛的研究社区。
这一角色对于设计和执行定义数据驱动AI开发最佳实践的路线图至关重要，并将加速与顶级基础模型实验室合作的下一代生成AI模型的发展。
您的职责包括：
• 推动现有LLM评估技术的有效性和局限性的研究。
• 设计和开发大型语言模型的新评估基准，涵盖指令遵循、事实性、鲁棒性和公平性等领域。
• 与客户和同行团队沟通、协作并建立关系，以促进跨职能项目。
• 与内部团队和外部合作伙伴合作，完善指标并创建标准化评估协议。
• 使用现代ML框架实施可扩展和可重复的评估流程。
• 在顶级AI会议上发表研究成果，并参与开源基准测试计划。
• 指导和引导研究科学家和工程师，在跨职能项目中提供技术领导。
• 深入参与ML研究社区，跟踪新兴工作并为LLM评估科学的进步做出贡献。
• 在高能量、快节奏的初创环境中茁壮成长，并准备好投入时间和精力以推动有影响力的结果。
理想情况下，您应具备：
• 在大型语言模型、NLP和Transformer建模方面有5年以上的实践经验，涵盖研究和工程开发。
• 在快节奏环境中产生重大研究影响的经验和记录。
• 领导研究科学家和工程师团队的经验。
• 优秀的书面和口头沟通能力。
• 在机器学习领域的主要会议（NeurIPS、ICML、ICLR、ACL、EMNLP、CVPR等）和/或期刊上发表过研究。
• 之前有面向客户角色的经验。
符合条件的职位的薪酬套餐包括基本工资、股权和福利。
此职位发布的范围显示了新员工工资的最低和最高目标，由工作地点和其他因素（包括与工作相关的技能、经验、面试表现和相关教育或培训）决定。
符合条件的Scale员工还将获得基于股权的补偿，需经董事会批准。
福利包括：全面的健康、牙科和视力保险、退休福利、学习和发展津贴、慷慨的带薪休假，可能包括通勤津贴。
全职职位的薪资范围：280,000-380,000美元。
请注意：我们的政策要求在重新考虑同一职位的候选人之前有90天的等待期。
这使我们能够确保对所有申请者进行公平和彻底的评估。
关于我们
在Scale，我们的使命是为世界上最重要的决策开发可靠的AI系统。
我们的产品提供高质量的数据和全栈技术，为世界领先的模型提供动力，并帮助企业和政府构建、部署和监督带来实际影响的AI应用。
我们与Meta、Cisco、DLA Piper、Mayo Clinic、Time Inc.、卡塔尔政府和包括陆军和空军在内的美国政府机构等行业领导者密切合作。
我们正在扩大团队，以加速AI应用的开发。
平等就业机会与便利
我们相信每个人都应该能够在工作中展现真实的自我，这就是为什么我们自豪地成为一个包容和平等机会的工作场所。
我们致力于在种族、肤色、血统、宗教、性别、国籍、性取向、年龄、公民身份、婚姻状况、残疾状况、性别认同或退伍军人身份方面提供平等的就业机会。
我们承诺与身体和精神残疾的申请者合作并提供合理的便利。
如果您在申请或招聘过程中因残疾需要帮助和/或合理的便利，请通过accommodations@scale.com联系我们。
我们遵守美国劳工部的薪酬透明度规定，并根据我们的内部政策和旨在保护个人数据的计划收集、保留和使用个人数据以用于我们的专业业务目的。
有关更多信息，请参阅我们的隐私政策。
资历级别：中高级
就业类型：全职
职位功能：其他行业：软件开发
地点：旧金山湾区
#J-18808-Ljbffr
