評估資料
驗證數據
Ground truth
意思
一個用於比較參考的受信任目標答案或標籤。
使用時機
適用於可以可靠定義正確輸出的任務。
應用範例
比較提取的發票總額與人工驗證的真實值。生成式 AI 工程
AI 結果驗證與評估術語
了解數據集、標準、人工和基於模型的評估、迴歸測試以及用於驗證 AI 質量的效率指標。
12 個術語
評估資料
評估資料集
Evaluation dataset
意思
一組經過精心策劃的案例，用於測量模型或應用程序的行為。
使用時機
包含來自真實使用場景的正常、困難、多語言和安全關鍵案例。
應用範例
建立一個包含 200 個匿名支援問題的固定評估資料集。評估資料
基準測試
Benchmark
意思
一個標準化的任務或數據集，用於在共享條件下比較系統。
使用時機
適用於方向比較，然後使用您自己的領域案例進行驗證。
應用範例
在公共基準測試和內部評估集上比較候選模型。準則
指標
Metric
意思
一個用於衡量所選品質、安全、速度或成本屬性的數值。
使用時機
選擇直接映射到使用者和業務需求的指標。
應用範例
追蹤答案正確性、引用準確性、拒絕品質、延遲和成本。準則
評分標準
Rubric
意思
一組書面標準和評分等級，用於評估輸出。
使用時機
在品質需要細微的判斷，而不是精確的匹配時使用。
應用範例
從 1 到 5 評分的事實支持程度，並為每個級別提供證據要求。方法
逐點評估
Pointwise evaluation
意思
對於一個輸出，根據標準或參考進行獨立評分。
使用時機
適用於通過/失敗檢查或絕對品質分數。
應用範例
在不查看替代方案的情況下，評估此答案的正確性和完整性。方法
雙向評估
Pairwise evaluation
意思
比較兩個輸出，針對相同的輸入，並選擇較好的輸出。
使用時機
在相對偏好比絕對分數更容易判斷時使用。
應用範例
針對響應 A 和 B，選擇哪個更符合原始證據。方法
人工評估
Human evaluation
意思
由人工進行的評估，通常使用指南和標記範例。
使用時機
使用經過訓練的審閱者來評估主觀、高影響或上下文相關的品質。
應用範例
兩個領域專家審查醫療摘要的準確性，並解決分歧。方法
LLM-as-a-judge
LLM-as-a-judge
意思
使用語言模型來評級、排名或批評其他模型的輸出。
使用時機
適用於在校準對人類判斷之後進行的可擴展評估。
注意
判斷模型可能存在偏差或不一致性；使用具有代表性的、由人工標記的案例進行審核。
應用範例
請求模型對引用提供評分，使用固定的評分標準。操作
通過率
Pass rate
意思
符合定義的接受閾值的評估案例的比例。
使用時機
運用它來追蹤發布門禁和隨時間變化的品質變化。
應用範例
在發布之前，至少需要 95% 的通過率，才能通過關鍵的策略問題。操作
回歸測試
Regression test
意思
一個重複的測試，用於檢查更改是否會破壞先前有效的功能。
使用時機
在模型、提示、檢索、工具或策略變更後執行它。
應用範例
在更新系統指令後，重新運行已修正的評估套件。操作
效率指标
Efficiency metrics
意思
測量標準，例如響應延遲、令牌使用量、吞吐量和金錢成本。
使用時機
評估它們的同時，也要考慮品質，以確保改進在擴展時仍然具有實用性。
應用範例
比較 p95 延遲和每個成功任務的成本，而不是僅比較每個請求的成本。