AI Engineering Tools

生成AIエンジニアリング

AIコンテキストエンジニアリング用語

信頼性の高いAIリクエストのために、指示、証拠、履歴、および状態を予算化、組み立て、順序付け、圧縮、キャッシュ、およびトレースする方法を学習します。

16

スコープと予算

コンテキストエンジニアリング

Context engineering

意味

モデルに提供される完全な情報環境を設計します。これには、指示、取得された証拠、履歴、ツール結果、および状態が含まれます。

使用場面

信頼性の高い動作が、単一のプロンプト文だけでなく、複数の文の選択と配置に依存する場合に利用します。

活用例

ポリシー、顧客の状態、取得した証拠、および出力ルールを、1つの制御されたコンテキストにまとめます。

スコープと予算

コンテキストバジェット

Context budget

意味

指示、証拠、履歴、ツール結果、および予想される出力の間に割り当てられる利用可能なトークン。

使用場面

長いドキュメントを追加する前に設定し、重要な指示と出力領域が圧迫されないようにします。

活用例

回答に2,000トークンを予約し、残りの予算をポリシー、例、および取得されたテキストに割り当てます。

スコープと予算

作業コンテキスト

Working context

意味

モデルの現在のステップに積極的に提供される、利用可能な情報のサブセット。

使用場面

現在のステップの入力と、メモリやソースシステム内の他の場所に保存されている情報との区別に使用します。

活用例

このステップでは、承認された概要と参照資料を含めますが、初期のブレインストーミングは省略します。

組み立てと信頼性

コンテキストアセンブリ

Context assembly

意味

選択された指示、状態、証拠、例、およびツール出力を、モデルの入力に収集します。

使用場面

各リクエストが必要なパーツを既知の形式で受信できるように、決定論的なアセンブリポリシーを使用します。

活用例

system rules -> verified user state -> retrieved evidence -> current request -> output contract

組み立てと信頼性

コンテキスト階層

Context hierarchy

意味

システムルール、アプリケーションの指示、ユーザー入力、および信頼できないコンテンツの間の優先順位の関係。

使用場面

入力が競合したり、埋め込み指示が含まれる可能性がある場合は、権限の境界を明確にします。

注意

Hierarchy labelsは、アプリケーションが信頼について推論するのに役立ちますが、セキュリティに関わる権限は、モデルの外側でも適用する必要があります。

活用例

取得したWebページのテキストを、証拠として扱い、システムルールをオーバーライドすることを許可するものではありません。

組み立てと信頼性

コンテキストの順序

Context ordering

意味

指示、ソース資料、例、および現在の質問が表示される順序。

使用場面

入力値がモデルの強調する情報に影響を与える可能性があるため、代表的な入力を使用して順序をテストします。

活用例

長いソースを最初に配置し、最後に正確な質問と必要な出力形式を記述する。

組み立てと信頼性

会話履歴

Conversation history

意味

以前のユーザーメッセージとアシスタントメッセージは、会話の継続性をサポートするために保持されます。

使用場面

現在のリクエストに関連する、承認され、有効な履歴のみを含めます。

注意

長い履歴は、古い指示や不要な個人データを保持する可能性があります。

活用例

確認された要件を保持し、次の世代ステップの前に、古いドラフトを削除します。

組み立てと信頼性

コンテキストの由来

Context provenance

意味

各コンテキスト項目がどこから来たか、いつ取得されたか、およびどのように使用される可能性があるかを示すメタデータ。

使用場面

証拠を引用、更新、アクセス制御、または監査する必要がある場合に使用します。

活用例

各セクションに、ソースID、ドキュメントのバージョンretrieved_at、アクセス範囲、およびチャンクの場所を付与します。

長文コンテキスト処理能力

長いコンテキスト

Long context

意味

モデルのサポートするコンテキスト容量内に、大量のテキストまたはマルチモーダルデータを含む入力。

使用場面

タスクが、広範なソースの網羅性を真に必要とし、検索だけでは有用な関係が失われる場合に利用します。

注意

より多くのコンテキストがあっても、すべての詳細が正確に使用されるとは限りません。現実的なケースで検索と推論を評価してください。

活用例

完全な契約セットを分析し、次に、ドキュメントとセクションへの参照とともに、競合する条項をリストします。

長文コンテキスト処理能力

コンテキストのオーバーフローと切り捨て

Context overflow and truncation

意味

要求された入力と出力が容量を超え、コンテンツが拒否または削除される状態。

使用場面

推論の前に検出し、明示的なポリシーを適用して、トリミング、要約、取得、またはタスクの分割を行います。

注意

サイレントな切り捨てにより、正しい答えを得るために必要な正確な指示や証拠が削除される可能性があります。

活用例

入力が予算を超えている場合は、システムルールと最新のリクエストを保持し、最も関連性の高い証拠を取得します。

長文コンテキスト処理能力

中間損失効果

Lost-in-the-middle effect

意味

長い入力内に埋もれた関連情報が、目立つ情報よりも信頼性が低く使用される傾向。

使用場面

重要な証拠をさまざまな位置でテストし、検索、順序、ラベル、またはクエリの配置を改善します。問題が発生した場合は修正します。

活用例

証拠を、開始時、中間、および終了付近に配置し、単一の配置に依存しないようにします。

最適化と再利用

コンテキストの削減

Context pruning

意味

リクエストを送信する前に、無関係な、重複した、期限切れの、または価値の低いアイテムを削除します。

使用場面

重要な指示と証拠に注意と予算を集中させるために使用します。

活用例

ユーザーの最終的な決定によって置き換えられる、重複した検索結果とメッセージを削除します。

最適化と再利用

コンテキスト圧縮

Context compression

意味

情報量を維持しながら、ソース資料をより短い形式で表現します。

使用場面

元の証拠へのリンクを維持しながら、完全なソーステキストが長すぎる場合は、構造化された要約を使用してください。

注意

圧縮はニュアンスを省略したり、エラーを導入したりする可能性があるため、影響の大きい主張については、元のソースに対して検証を行う。

活用例

各会議を、決定事項、担当者、締め切り、未解決の問題、およびソースタイムスタンプにまとめる。

最適化と再利用

再利用可能なプロンプトプレフィックス

Reusable prompt prefix

意味

繰り返しリクエストで共有される、指示または参照資料の安定した主要ブロック。

使用場面

プロバイダーまたはランタイムが同一のプレフィックスを効率的に再利用できる場合、関連するコンテンツをまとめて保持します。

活用例

承認されたポリシーとスキーマを最初に配置し、その後にリクエスト固有の証拠と質問を追加する。

最適化と再利用

コンテキストキャッシュ

Context caching

意味

プラットフォームがサポートしている場合、以前に処理された入力トークンまたは保存されたコンテキストを、後続のリクエストで使用します。

使用場面

同じ大規模な指示、ドキュメント、メディア、またはコードベースに対する繰り返し質問に使用します。

注意

キャッシュの動作、最小サイズ、有効期間、料金、および無効化は、プロバイダーとモデルによって異なります。

活用例

ポリシーの情報を一度キャッシュし、その後、より具体的な質問をキャッシュされた情報に対して送信します。

最適化と再利用

キャッシュヒットとキャッシュミス

Cache hit and cache miss

意味

キャッシュヒットは、有効な以前のコンテキストを再利用します。キャッシュミスは、入力を再度処理する必要があります。

使用場面

繰り返しプレフィックスを持つワークロードのレイテンシとコストを推定する際に、両方の結果を測定します。

活用例

デプロイ後、プロンプトのバージョンごとに、キャッシュされた入力トークンとミス率を追跡します。

コンテキスト戦略の選択

タスクに必要な証拠と関係性を維持する、最も小さなアプローチを使用してください。

状況検討すべきアプローチ
わずかな短い、直接関連する事実作業コンテキストに直接配置する
わずかな関連部分しかない大規模なコレクション。選択された証拠を取得、ランク付け、および組み立てます。
同じ大きなソースが繰り返しクエリされます。コンテキストキャッシュを使用して、長いコンテキストを評価します。
Historyには、重複した情報や古い情報が含まれている場合があります。ソースへのリンクを含む構造化された要約を作成し、抽出します。

よくある質問

コンテキストエンジニアリングは、プロンプトエンジニアリングと同じですか?

いいえ。プロンプトエンジニアリングは、指示とプロンプトの構造に焦点を当てています。コンテキストエンジニアリングは、各モデルステップで使用される証拠、履歴、状態、ツール結果、および再利用可能な素材の選択と配置も制御します。

利用可能なすべてのドキュメントを、長いコンテキストに含めるべきですか?

通常はそうではありません。不要なコンテンツはコストとレイテンシを増加させ、重要な証拠の使用を困難にする可能性があります。代表的なタスクで、直接的なコンテキスト、検索、プルーニング、圧縮、およびキャッシュを比較してください。

より大きなコンテキストウィンドウは、より良い回答を保証しますか?

いいえ。容量は、何が収まるかを定義するだけです。精度は、関連性、順序、信頼境界、モデルの動作、および現実的なケースによる評価によっても異なります。

公式参考資料