スコープと予算
コンテキストエンジニアリング
Context engineering
意味
モデルに提供される完全な情報環境を設計します。これには、指示、取得された証拠、履歴、ツール結果、および状態が含まれます。
使用場面
信頼性の高い動作が、単一のプロンプト文だけでなく、複数の文の選択と配置に依存する場合に利用します。
活用例
ポリシー、顧客の状態、取得した証拠、および出力ルールを、1つの制御されたコンテキストにまとめます。生成AIエンジニアリング
信頼性の高いAIリクエストのために、指示、証拠、履歴、および状態を予算化、組み立て、順序付け、圧縮、キャッシュ、およびトレースする方法を学習します。
16 件
スコープと予算
Context engineering
モデルに提供される完全な情報環境を設計します。これには、指示、取得された証拠、履歴、ツール結果、および状態が含まれます。
信頼性の高い動作が、単一のプロンプト文だけでなく、複数の文の選択と配置に依存する場合に利用します。
ポリシー、顧客の状態、取得した証拠、および出力ルールを、1つの制御されたコンテキストにまとめます。スコープと予算
Context budget
指示、証拠、履歴、ツール結果、および予想される出力の間に割り当てられる利用可能なトークン。
長いドキュメントを追加する前に設定し、重要な指示と出力領域が圧迫されないようにします。
回答に2,000トークンを予約し、残りの予算をポリシー、例、および取得されたテキストに割り当てます。スコープと予算
Working context
モデルの現在のステップに積極的に提供される、利用可能な情報のサブセット。
現在のステップの入力と、メモリやソースシステム内の他の場所に保存されている情報との区別に使用します。
このステップでは、承認された概要と参照資料を含めますが、初期のブレインストーミングは省略します。組み立てと信頼性
Context assembly
選択された指示、状態、証拠、例、およびツール出力を、モデルの入力に収集します。
各リクエストが必要なパーツを既知の形式で受信できるように、決定論的なアセンブリポリシーを使用します。
system rules -> verified user state -> retrieved evidence -> current request -> output contract組み立てと信頼性
Context hierarchy
システムルール、アプリケーションの指示、ユーザー入力、および信頼できないコンテンツの間の優先順位の関係。
入力が競合したり、埋め込み指示が含まれる可能性がある場合は、権限の境界を明確にします。
Hierarchy labelsは、アプリケーションが信頼について推論するのに役立ちますが、セキュリティに関わる権限は、モデルの外側でも適用する必要があります。
取得したWebページのテキストを、証拠として扱い、システムルールをオーバーライドすることを許可するものではありません。組み立てと信頼性
Context ordering
指示、ソース資料、例、および現在の質問が表示される順序。
入力値がモデルの強調する情報に影響を与える可能性があるため、代表的な入力を使用して順序をテストします。
長いソースを最初に配置し、最後に正確な質問と必要な出力形式を記述する。組み立てと信頼性
Conversation history
以前のユーザーメッセージとアシスタントメッセージは、会話の継続性をサポートするために保持されます。
現在のリクエストに関連する、承認され、有効な履歴のみを含めます。
長い履歴は、古い指示や不要な個人データを保持する可能性があります。
確認された要件を保持し、次の世代ステップの前に、古いドラフトを削除します。組み立てと信頼性
Context provenance
各コンテキスト項目がどこから来たか、いつ取得されたか、およびどのように使用される可能性があるかを示すメタデータ。
証拠を引用、更新、アクセス制御、または監査する必要がある場合に使用します。
各セクションに、ソースID、ドキュメントのバージョンretrieved_at、アクセス範囲、およびチャンクの場所を付与します。長文コンテキスト処理能力
Long context
モデルのサポートするコンテキスト容量内に、大量のテキストまたはマルチモーダルデータを含む入力。
タスクが、広範なソースの網羅性を真に必要とし、検索だけでは有用な関係が失われる場合に利用します。
より多くのコンテキストがあっても、すべての詳細が正確に使用されるとは限りません。現実的なケースで検索と推論を評価してください。
完全な契約セットを分析し、次に、ドキュメントとセクションへの参照とともに、競合する条項をリストします。長文コンテキスト処理能力
Context overflow and truncation
要求された入力と出力が容量を超え、コンテンツが拒否または削除される状態。
推論の前に検出し、明示的なポリシーを適用して、トリミング、要約、取得、またはタスクの分割を行います。
サイレントな切り捨てにより、正しい答えを得るために必要な正確な指示や証拠が削除される可能性があります。
入力が予算を超えている場合は、システムルールと最新のリクエストを保持し、最も関連性の高い証拠を取得します。長文コンテキスト処理能力
Lost-in-the-middle effect
長い入力内に埋もれた関連情報が、目立つ情報よりも信頼性が低く使用される傾向。
重要な証拠をさまざまな位置でテストし、検索、順序、ラベル、またはクエリの配置を改善します。問題が発生した場合は修正します。
証拠を、開始時、中間、および終了付近に配置し、単一の配置に依存しないようにします。最適化と再利用
Context pruning
リクエストを送信する前に、無関係な、重複した、期限切れの、または価値の低いアイテムを削除します。
重要な指示と証拠に注意と予算を集中させるために使用します。
ユーザーの最終的な決定によって置き換えられる、重複した検索結果とメッセージを削除します。最適化と再利用
Context compression
情報量を維持しながら、ソース資料をより短い形式で表現します。
元の証拠へのリンクを維持しながら、完全なソーステキストが長すぎる場合は、構造化された要約を使用してください。
圧縮はニュアンスを省略したり、エラーを導入したりする可能性があるため、影響の大きい主張については、元のソースに対して検証を行う。
各会議を、決定事項、担当者、締め切り、未解決の問題、およびソースタイムスタンプにまとめる。最適化と再利用
Reusable prompt prefix
繰り返しリクエストで共有される、指示または参照資料の安定した主要ブロック。
プロバイダーまたはランタイムが同一のプレフィックスを効率的に再利用できる場合、関連するコンテンツをまとめて保持します。
承認されたポリシーとスキーマを最初に配置し、その後にリクエスト固有の証拠と質問を追加する。最適化と再利用
Context caching
プラットフォームがサポートしている場合、以前に処理された入力トークンまたは保存されたコンテキストを、後続のリクエストで使用します。
同じ大規模な指示、ドキュメント、メディア、またはコードベースに対する繰り返し質問に使用します。
キャッシュの動作、最小サイズ、有効期間、料金、および無効化は、プロバイダーとモデルによって異なります。
ポリシーの情報を一度キャッシュし、その後、より具体的な質問をキャッシュされた情報に対して送信します。最適化と再利用
Cache hit and cache miss
キャッシュヒットは、有効な以前のコンテキストを再利用します。キャッシュミスは、入力を再度処理する必要があります。
繰り返しプレフィックスを持つワークロードのレイテンシとコストを推定する際に、両方の結果を測定します。
デプロイ後、プロンプトのバージョンごとに、キャッシュされた入力トークンとミス率を追跡します。タスクに必要な証拠と関係性を維持する、最も小さなアプローチを使用してください。
| 状況 | 検討すべきアプローチ |
|---|---|
| わずかな短い、直接関連する事実 | 作業コンテキストに直接配置する |
| わずかな関連部分しかない大規模なコレクション。 | 選択された証拠を取得、ランク付け、および組み立てます。 |
| 同じ大きなソースが繰り返しクエリされます。 | コンテキストキャッシュを使用して、長いコンテキストを評価します。 |
| Historyには、重複した情報や古い情報が含まれている場合があります。 | ソースへのリンクを含む構造化された要約を作成し、抽出します。 |
いいえ。プロンプトエンジニアリングは、指示とプロンプトの構造に焦点を当てています。コンテキストエンジニアリングは、各モデルステップで使用される証拠、履歴、状態、ツール結果、および再利用可能な素材の選択と配置も制御します。
通常はそうではありません。不要なコンテンツはコストとレイテンシを増加させ、重要な証拠の使用を困難にする可能性があります。代表的なタスクで、直接的なコンテキスト、検索、プルーニング、圧縮、およびキャッシュを比較してください。
いいえ。容量は、何が収まるかを定義するだけです。精度は、関連性、順序、信頼境界、モデルの動作、および現実的なケースによる評価によっても異なります。
長いコンテキストの使用、制限事項、クエリの配置、レイテンシ、コスト、およびキャッシュに関する公式ガイド。
繰り返しコンテキストの再利用と、キャッシュされた入力の動作の観察に関する公式ガイド。
トークン、コンテキストウィンドウ、システム指示、推論、および生成設定をレビューします。
指示、例、制約、スキーマ、および複数ステップのプロンプト構造を設計します。
コンテキストに組み立てる前に、関連する証拠を取得してランク付けします。
ツール結果、メモリ、計画、および人間の承認とコンテキストアセンブリを連携させる。