評価データ
正解データ
Ground truth
意味
比較の参照として使用される、信頼できるターゲットの回答またはラベル。
使用場面
正しい出力が確実に定義できるタスクに使用します。
活用例
抽出された請求書の合計を、人間が検証した真の値と比較します。生成AIエンジニアリング
AI出力検証・評価用語
データセット、基準、人間とモデルによる評価、回帰テスト、およびAIの品質を検証するための効率指標を理解します。
12 件
評価データ
評価データセット
Evaluation dataset
意味
モデルまたはアプリケーションの動作を測定するために使用される、キュレーションされたケースのセット。
使用場面
実際の利用状況から、正常なケース、難しいケース、多言語ケース、および安全性が重要なケースを含めます。
活用例
200件の匿名化されたサポート質問を含む、固定評価データセットを作成します。評価データ
ベンチマーク
Benchmark
意味
システムを共通の条件下で比較するために使用される、標準化されたタスクまたはデータセット。
使用場面
方向性の比較に使用し、その後、独自のドメインのケースで検証します。
活用例
パブリックベンチマークと内部評価セットで、候補モデルを比較します。基準
指標
Metric
意味
選択された品質、安全性、速度、またはコストに関する数値的な指標。
使用場面
ユーザーおよびビジネス要件に直接対応する指標を選択してください。
活用例
回答の正確性、引用の正確さ、拒否の品質、レイテンシ、およびコストを追跡します。基準
ルブリック
Rubric
意味
出力を評価するために使用される、記述された基準とスコアリングレベルのセット。
使用場面
品質が、正確な一致ではなく、微妙な判断を必要とする場合に利用します。
活用例
事実の裏付けを 1 から 5 まで評価し、各レベルに対して証拠の要件を定めます。方法
ポイントワイズ評価
Pointwise evaluation
意味
基準または参照に対して、1 つの出力を個別にスコアリングします。
使用場面
合格/不合格のチェックまたは絶対的な品質スコアに使用します。
活用例
代替案を表示せずに、この回答の正確性と完全性を評価してください。方法
ペアワイズ評価
Pairwise evaluation
意味
同じ入力に対する2つの出力を比較し、より良い方を選択する。
使用場面
絶対的なスコアよりも、相対的な好みが判断しやすい場合に利用します。
活用例
回答AとBが与えられた場合、どちらがソースの証拠をより良く反映しているかを選択します。方法
Human evaluation
Human evaluation
意味
人間による評価であり、多くの場合、ガイドラインとラベル付けされた例を使用します。
使用場面
主観的な、影響の大きい、またはコンテキストに依存する品質については、訓練されたレビュアーを使用してください。
活用例
2人の専門家が、医療サマリーの正確性をレビューし、意見の相違を解決します。方法
LLMを評価者として使用する
LLM-as-a-judge
意味
言語モデルを使用して、他のモデルの出力に対して評価、ランク付け、または批判を行います。
使用場面
人間の判断と比較してキャリブレーションした後、スケーラブルな評価に使用します。
注意
モデルは偏っていたり、一貫性がない場合があります。代表的な人間がラベル付けしたデータを使用して、モデルを監査してください。
活用例
引用の信頼度を評価するために、固定された評価基準を使用して、評価モデルに指示します。操作
合格率
Pass rate
意味
定義された許容基準を満たす評価ケースの割合。
使用場面
リリースゲートや品質の変化を追跡するために使用します。
活用例
リリース前に、重要なポリシーに関する質問で少なくとも95%の合格率を要求します。操作
回帰テスト
Regression test
意味
変更によって以前に機能していた動作が壊れないかどうかを確認する、繰り返されるテスト。
使用場面
モデル、プロンプト、検索、ツール、またはポリシーの変更後に実行します。
活用例
システム指示を更新した後、修正された評価スイートを再実行します。操作
効率指標
Efficiency metrics
意味
レスポンスのレイテンシ、トークンの使用量、スループット、および金銭的コストなどの指標。
使用場面
品質とともに評価し、改善が大規模な環境でも実用的であることを確認します。
活用例
単にリクエスト数だけでなく、成功したタスクあたりのp95レイテンシとコストを比較する。