AI Engineering Tools

生成AIエンジニアリング

RAG・文書検索用語

信頼できるドキュメントから検証可能なAI回答を構築するために使用される、取り込み、インデックス作成、検索、ランキング、基盤化、引用、およびRAGプロンプトパターンについて学習します。

19

概要

検索拡張生成(RAG)

Retrieval-augmented generation (RAG)

意味

生成前に、関連する外部情報を取得し、モデルに提供するパターン。

使用場面

回答が、現在の、プライベート、またはドメイン固有のドキュメントに依存する必要がある場合に、使用します。

活用例

質問に関連するポリシーのテキストを取得し、それらのテキストのみを使用して回答します。

取り込み

分割

Chunking

意味

ドキュメントを、インデックス化および検索できる小さな単位に分割します。

使用場面

意味を維持しながら、検索を絞り込むために、チャンクの境界を選択します。

活用例

ハンドブックをセクションごとに分割し、各見出しと段落を一緒に保持します。

インデックス

埋め込み

Embedding

意味

テキストまたはその他のコンテンツのセマンティックな特徴を表す数値ベクトル。

使用場面

厳密なキーワード一致を超えて、意味的な類似性を比較するために、埋め込みを使用します。

活用例

各ドキュメントチャンクと、ユーザーのクエリに対して、埋め込みを作成します。

インデックス

ベクトルストア

Vector store

意味

埋め込みデータを保存し、最近傍探索をサポートするシステム。

使用場面

セマンティックインデックスと関連するドキュメントメタデータを管理するために使用します。

活用例

各チャンクベクトルを、ソースURL、タイトル、およびアクセススコープとともに保存します。

検索

類似性検索

Similarity search

意味

ベクトル表現が選択された距離尺度に基づいてどれだけ近いかに基づいて検索します。

使用場面

クエリに関連する意味を持つ文章を見つけるために使用します。

活用例

クエリの埋め込み値に最も近い文章をベクトルストアで検索します。

検索

検索器

Retriever

意味

クエリに対して候補となるドキュメントまたはチャンクを選択するコンポーネント。

使用場面

クエリの書き換え、フィルタ、検索方法、および結果の制限を組み合わせるように設定する。

活用例

レトリバーは、現在のユーザーがアクセスできるポリシーのチャンクを返します。

検索

トップK

Top-k

意味

次の段階で選択される、上位の検索結果の数。

使用場面

証拠の網羅性と、ノイズおよびコンテキストの使用のバランスを考慮して調整します。

活用例

上位8個の候補を取得し、再ランキングして、最も優れた4個を保持します。

検索

メタデータフィルター

Metadata filter

意味

日付、製品、言語、または権限などの属性に基づいて検索を絞り込む制約。

使用場面

スコープとアクセス制御を強制するために、セマンティックランキングの前に使用します。

活用例

ユーザーが閲覧できる、2025年以降に公開された韓国語のドキュメントのみをフィルタリングする。

検索

Hybrid search

Hybrid search

意味

語彙キーワード信号と意味的ベクトル信号を組み合わせた検索方法。

使用場面

正確な識別子と概念的な類似性の両方が重要な場合に使用します。

活用例

エラーコードAB-104について、BM25キーワードの結果と埋め込み類似性を組み合わせます。

順位付け

再ランキング

Reranking

意味

取得された候補を関連性の順に並べ替える、2段階のモデルまたはルール。

使用場面

より広範な候補セットを収集した後に、精度を向上させるために使用します。

活用例

20個の候補チャンクを再ランキングし、その中で最も優れた5個をジェネレーターに送信します。

根拠のある回答

Grounding

Grounding

意味

生成された応答を、提供された証拠または取得した証拠と関連付ける。

使用場面

不正確な主張を減らし、回答を監査可能にするために使用します。

活用例

取得されたポリシーの抜粋によってサポートされている主張のみに回答します。

根拠のある回答

引用

Citation

意味

主張をサポートするソースを特定する参照。

使用場面

読者が証拠を迅速に確認できるように、主張レベルで引用を添付します。

注意

引用は、関連性のない証拠を指している可能性もあります。実際に主張を裏付けていることを確認してください。

活用例

各ポリシーに関する主張について、ドキュメントのタイトル、セクション、および直接のソースへのリンクを含めます。

RAG プロンプトパターン

クエリ書き換えプロンプト

Query rewriting prompt

意味

ユーザーのリクエストを、キーワード、セマンティック、ハイブリッド、またはフィルタリングされた検索に適した1つ以上のクエリに変換する指示。

使用場面

意図を維持しながら、曖昧な、会話的な、未定義の、またはドメイン不一致の質問に使用します。

注意

ユーザーの意図を無音で変更したり、サポートされていない事実を追加したり、アクセスフィルタを弱めたりしないでください。

活用例

ハイブリッド検索用に質問を書き換えます。元の意図を維持し、関連するドキュメントの用語を追加し、元の質問と、最大3つの書き換えられたクエリを返します。

RAG プロンプトパターン

根拠のある回答指示

Grounded-answer instruction

意味

事実の主張が、生成ステップに提供される取得された段落によって裏付けられる必要があることを要求するプロンプトルール。

使用場面

回答が監査可能であり、サポートされていないモデルの知識が証拠として提示されるべきではない場合に、使用します。

活用例

提供された段落を使用して質問に答え、事実に基づく主張ごとにサポートソースIDを添付し、明確にラベル付けされた推論を分離します。

RAG プロンプトパターン

コンテキストのみによる回答

Context-only answering

意味

提供された検索コンテキストによって明示的にサポートされている情報のみに回答を制限する、厳密な生成ルール。

使用場面

ポリシー、契約書、規制対象コンテンツ、または外部モデルの知識が不足を補うべきではないタスクに使用します。

注意

このルールは、不十分、不完全、古い、または許可されていない検索結果を補償することはできません。

活用例

<retrieved_context>のみを使用します。コンテキストに答えが含まれていない場合は、既存の知識を使用するのではなく、insufficient_evidenceを返します。

RAG プロンプトパターン

証拠のない応答と拒否

No-evidence response and abstention

意味

取得された証拠が存在しない、不十分である、矛盾している、またはサポートの閾値を下回る場合に、定義されたフォールバック応答。

使用場面

確信に基づく推測を防ぎ、ケースを明確化、別の検索試行、または人間のレビューにルーティングするために使用します。

活用例

回答を直接サポートする文章がない場合は、ステータスを insufficient_evidence に設定し、何が不足しているかを説明し、明確化のための質問を提案します。

RAG プロンプトパターン

引用形式の指示

Citation format instruction

意味

生成された回答で、ソース識別子がどこにどのように表示される必要があるかを定義するプロンプト契約。

使用場面

アプリケーションやレビュアーが、一貫して検証できる、クレームレベルの参照を作成するために使用します。

注意

引用の書式設定は、引用された箇所が主張を支持していることを証明するものではありません。 引用の正確性を別途検証してください。

活用例

サポートされている各文の後、取得したIDを[S1]形式で1つ以上引用する。IDを捏造したり、文をサポートしていないソースを引用したりしないでください。

RAG プロンプトパターン

取得されたコンテキストによる合成

Retrieved-context synthesis

意味

複数の取得されたテキストから補完的な証拠を組み合わせ、ソースの境界線を消去せずに、一貫性のある回答を生成します。

使用場面

比較、要約、または複数の段落を必要とする多肢解答の質問に使用します。

活用例

質問ごとにセクションをグループ化し、重複を削除し、日付と範囲を保持し、次に、主張レベルのソースIDを使用して回答を合成します。

RAG プロンプトパターン

競合の解決

Conflicting-source handling

意味

取得されたソース間の矛盾を検出し、サイレントに1つを選択するのではなく、報告するプロンプトルール。

使用場面

ドキュメントが、バージョン、日付、管轄区域、権威、または解釈が異なる可能性がある場合に使用します。

注意

最新性だけでは必ずしも権威が決定されるわけではありません。ドメインの優先順位ポリシーを、プロンプトの内側または横に記述してください。

活用例

情報源が矛盾している場合は、各主張とその情報源、バージョン、日付をリストし、矛盾を特定し、明示的な権限ルールを適用するか、レビューを依頼します。

RAG プロンプトフロー

検索品質と生成指示は一緒に設計および評価する必要があります。プロンプトは、欠落しているか許可されていない証拠を修正することはできません。

ステージプロンプトの責任
取得前クエリを書き換え、拡張、フィルタリング、または分解する際に、意図を維持する
コンテキストアセンブリソースID、バージョン、日付、権限、およびテキストの境界線をラベル付けします。
回答の生成主張は証拠に限定し、引用形式を定義し、拒否動作を指定する。
生成後クレームのサポート、引用の正確性、競合、完全性、およびアクセスコンプライアンスを検証します。

よくある質問

厳密なコンテキストのみのプロンプトで、事実に基づいた回答を保証できますか?

いいえ。許可された証拠の範囲を減らしますが、回答は依然としてテキストを誤読したり、互換性のないソースを組み合わせたり、不正確な引用を付けたり、または不適切な検索に依存したりする可能性があります。検索の再現率、主張のサポート、引用の正確性、および拒否の動作を検証してください。

RAGシステムは、どのような場合に回答する代わりに、回答を拒否すべきですか?

必要な主張を直接サポートする信頼できる情報がない場合、または証拠が定義された閾値を下回る場合、ソースが矛盾しているが権威ルールがない場合、または質問があまりにも曖昧で安全に取得できない場合は、控えめにします。構造化された理由と、次に役立つアクションを返します。

RAGプロンプトは、引用を要求すべきですか?

ユーザーまたは下流システムが主張を検証する必要がある場合、またはアプリケーションが元のソース識別子を保持し、引用されたすべての箇所がその主張を裏付けていることを検証する場合に「はい」とします。モデルは決してソースIDを捏造してはいけません。

公式参考資料