角色描述
角色概述
该角色需要对AI基础知识有深入理解，具备LLM测试、护栏设计、数据清理和代理轨迹评估的实践经验。测试人员将与AI工程师、数据科学家和产品团队紧密合作，以确保AI行为的安全、可靠和高质量。
拥有5-8年以上的质量保证经验，其中至少2-3年从事AI/ML或LLM测试。
对AI基础知识有深刻理解：嵌入、向量存储、RAG、LLM、代理框架。
具备以下测试的实践经验：
- LLM提示和输出
- 代理流程（例如，LangChain、AutoGen、Semantic Kernel、AIP代理）
- 模型评估指标
具备编写护栏、安全规则和评估提示的经验。
了解数据清理、PII检测和数据治理。
熟悉管道验证和MLOps工作流程。
能够使用Low-Pick Score或类似排名指标评估模型性能。
具备强大的Python技能，用于测试自动化和评估脚本编写。
