评估数据
真实数据
Ground truth
含义
一个作为比较参考的受信任的目标答案或标签。
使用场景
用于可以可靠地定义正确输出的任务。
应用示例
比较提取的发票总额与人工验证的真实值。生成式 AI 工程
AI 结果验证与评估术语
理解数据集、标准、人工和基于模型的判断、回归测试以及用于验证 AI 质量的效率指标。
12 个术语
评估数据
评估数据集
Evaluation dataset
含义
一组精心挑选的案例，用于衡量模型或应用程序的行为。
使用场景
包含来自实际使用情况的正常、困难、多语言和安全关键案例。
应用示例
创建一个包含 200 个匿名支持问题的固定评估数据集。评估数据
基准测试
Benchmark
含义
一项标准化的任务或数据集，用于在共享条件下比较系统。
使用场景
用于方向性比较，然后使用您自己的领域案例进行验证。
应用示例
在公共基准测试和内部评估集上比较候选模型。标准
指标
Metric
含义
一个用于衡量选定质量、安全、速度或成本属性的数值。
使用场景
选择直接映射到用户和业务需求的指标。
应用示例
跟踪答案正确性、引用准确性、拒绝质量、延迟和成本。标准
评估标准
Rubric
含义
一组书面标准和评分等级，用于评估输出。
使用场景
当质量需要细致的判断，而不是精确的匹配时使用。
应用示例
从 1 到 5 评分事实支持，并为每个级别提供证据要求。方法
逐点评估
Pointwise evaluation
含义
独立地对一个输出根据标准或参考进行评分。
使用场景
用于通过/失败检查或绝对质量分数。
应用示例
在不查看其他选项的情况下，对答案的正确性和完整性进行评分。方法
逐对评估
Pairwise evaluation
含义
比较两个输出，针对相同的输入，并选择更好的一个。
使用场景
当相对偏好比绝对分数更容易判断时使用。
应用示例
给出响应 A 和 B，选择哪个更符合原始证据。方法
人工评估
Human evaluation
含义
由人工进行的评估，通常使用指南和带标签的示例。
使用场景
使用经过训练的审核员来评估主观、高影响或上下文相关的质量。
应用示例
两位领域专家审查医疗摘要的准确性，并解决分歧。方法
LLM 作为评估器
LLM-as-a-judge
含义
使用语言模型来对其他模型的输出进行评分、排名或评论。
使用场景
用于在校准到人类判断后进行的扩展评估。
注意
评估模型可能存在偏差或不一致性；使用具有代表性的、由人工标注的案例进行审计。
应用示例
让一个模型根据固定的标准对引用进行评分。操作
通过率
Pass rate
含义
满足定义接受阈值的评估案例的比例。
使用场景
使用它来跟踪发布门和质量随时间的变化。
应用示例
在发布之前，至少需要 95% 的通过率，才能通过关键的策略问题。操作
回归测试
Regression test
含义
一种重复的测试，用于检查更改是否会破坏之前有效的功能。
使用场景
在模型、提示、检索、工具或策略更改后运行它。
应用示例
在更新系统指令后，重新运行固定的评估套件。操作
效率指标
Efficiency metrics
含义
诸如响应延迟、令牌使用情况、吞吐量和货币成本之类的指标。
使用场景
评估它们与质量一起，以确保改进在规模上仍然实用。
应用示例
比较 p95 延迟和每个成功任务的成本，而不仅仅是每个请求的成本。