メディア入力
複数モダリティプロンプト
Multimodal prompt
意味
テキストと、画像、ドキュメント、オーディオ、またはビデオなどの1つ以上のメディアタイプを組み合わせたリクエスト。
使用場面
タスクが、複数のモダリティで表現された情報に依存する場合に利用します。
活用例
チャート画像と記述された予測を比較し、サポートされている主張と矛盾する主張を特定する。生成AIエンジニアリング
AIマルチモーダルプロンプト設計用語
テキストと画像、ドキュメント、オーディオ、またはビデオを組み合わせたAIリクエストの構造化、基盤化、比較、および検証方法を学習します。
17 件
メディア入力
画像入力
Image input
意味
モデル分析に使用される写真、スクリーンショット、スキャン、図、またはその他の画像。
使用場面
モデルが検査すべき、正確に表示されるプロパティまたは領域を指定します。
活用例
添付されたスクリーンショットでは、エラーバナーのみを読み取り、そのコードとメッセージをリストします。メディア入力
ドキュメント入力
Document input
意味
テキスト構造と視覚構造の両方を含む、PDF、スライドデッキ、またはレポートなどのファイル。
使用場面
タスクがページ、セクション、テーブル、または脚注の参照を保持する必要があるかどうかを指定します。
活用例
契約から支払い条件を抽出し、各項目についてページとセクションを引用する。メディア入力
オーディオ入力
Audio input
意味
文字起こしまたは分析に使用される、音声、音楽、環境音、またはその他の音声記録。
使用場面
文字起こしする前に、言語、話者ラベル、タイムスタンプ、および不確実性の要件を定義します。
活用例
韓国語の会議を書き起こし、スピーカーを区別できる場合はラベルを付け、各決定にタイムスタンプを付けます。メディア入力
動画入力
Video input
意味
視覚的な入力であり、音声、テキスト、動き、およびシーンの変更が含まれる場合があります。
使用場面
時間的な証拠を記録し、何が見え、聞こえ、または推測されたのかを区別します。
活用例
各シーンの変更時に、タイムスタンプ、実行されたアクション、および発言された主張を提供します。プロンプトの構造
交互入力
Interleaved input
意味
テキストとメディア項目が交互に配置され、指示またはラベルが関連する項目に近接するように配置されたシーケンス。
使用場面
比較、段階的なデモンストレーション、または複数のメディアアイテムを必要とするリクエストに使用します。
活用例
Image A -> its question -> Image B -> its question -> final comparison criteriaプロンプトの構造
モーダル順序
Modality ordering
意味
テキスト、画像、ドキュメント、オーディオ、およびビデオの部分が提示される順序。
使用場面
関連する指示を、そのメディアの近くに配置し、重要なワークフローについては、代替の順序をテストします。
活用例
画像を提示し、次に抽出指示を提示し、最後に出力スキーマを提示します。プロンプトの構造
画像の詳細と解像度
Image detail and resolution
意味
小さなテキスト、オブジェクト、または空間関係を読み取るために利用可能な視覚的な詳細度。
使用場面
細かいディテールが重要な場合は、適切な解像度を使用し、関連する領域をトリミングします。
注意
解像度を高くすると、処理コストが増加する可能性があり、元の画像にないディテールを復元することはできません。
活用例
デバイス全体の遠い写真ではなく、シリアルラベルの拡大画像を添付します。証拠の関連付け
視覚的関連付け
Visual grounding
意味
画像またはビデオ内の観察可能なコンテンツに、ステートメントまたは抽出された結果をリンクする。
使用場面
ユーザーが結論の根拠を検証する必要がある場合に要求します。
活用例
各不具合について、観察された証拠を記述し、おおよその位置を特定します。証拠の関連付け
領域参照とバウンディングボックス
Region reference and bounding box
意味
画像の特定の領域へのテキストベース、座標ベース、またはボックスによる参照。
使用場面
繰り返しオブジェクトを区別し、後続のレビューまたはアノテーションをサポートするために、領域を使用します。
注意
モデルとAPI間で座標形式と精度が異なるため、自動化する前に検証してください。
活用例
検出された各ラベルについて、正規化された [x_min, y_min, x_max, y_max] のバウンディングボックスを返します。証拠の関連付け
タイムリファレンスとタイムスタンプ
Temporal reference and timestamp
意味
イベントが発生するオーディオまたはビデオ内の時間位置または間隔。
使用場面
シーン分析、証拠のレビュー、編集、およびトランスクリプトのアライメントに使用します。
活用例
安全に関するインシデントを、開始時間、終了時間、観察されたアクション、および信頼度としてリストします。分析タスク
OCR 指示
OCR instruction
意味
画像またはスキャンされたドキュメントから、表示されているテキストを検出し、書き起こすリクエスト。
使用場面
言語、レイアウトの保持、判読不能なテキストの処理、および正規化が許可されているかどうかを指定します。
活用例
レシートを1行ずつ書き起こし、欠損文字を推測する代わりに、[判読不能]を使用します。分析タスク
チャートとテーブルの解釈
Chart and table interpretation
意味
可視化されたデータまたは表形式のデータから、値、ラベル、傾向、および関係を読み取ります。
使用場面
モデルに、直接読み取った値と計算または推論された結論を区別するように指示します。
活用例
凡例と軸の単位を最初に抽出し、次に年間の最大の変動を報告する。分析タスク
複数画像比較
Multi-image comparison
意味
2つ以上の画像間の類似点、相違点、または変更点を分析します。
使用場面
各画像にラベルを付け、結論を要求する前に、安定した比較基準を定義します。
活用例
レイアウト、表示されているテキスト、欠落しているコントロール、および色の変更についてのみ、画像Aと画像Bを比較します。分析タスク
異種モダリティ推論
Cross-modal reasoning
意味
異なるモダリティからの証拠を組み合わせて、質問に答えたり、結論を導き出したりします。
使用場面
単一のモダリティでは完全な答えが得られない場合に利用します。
活用例
発言された金額、請求書の画像、およびポリシーのテキストを使用して、不一致を特定してください。証拠の関連付け
複数モダリティの証拠参照
Multimodal evidence reference
意味
回答をサポートするページ、領域、フレーム、またはタイムスタンプへの引用のようなポインタ。
使用場面
レビュー可能な出力に参照を含め、後続のワークフローの段階でもそれを維持します。
活用例
主張: 合計は48.20; 証拠: 1ページ、右下の合計行; 確信度: 高い。信頼性
サポートされていない視覚的推論
Unsupported visual inference
意味
提供されたメディアが視覚的または聴覚的にサポートしている範囲を超える結論。
使用場面
モデルに、不確実性をマークし、プロパティが決定できない場合にその旨を伝えるように指示します。
注意
外観だけで、機密性の高い特性、身元、意図、または病状を推測しないでください。
活用例
目に見える損傷のみを報告し、メディアが直接示していない限り、原因を推測しないでください。複数モダリティ入力とメディア生成
| 複数モダリティプロンプトエンジニアリング | AIメディア生成プロンプト |
|---|---|
| 理解と分析のための画像、ドキュメント、音声、またはビデオを提供します。 | 生成する画像、ビデオ、音声、音楽、またはエフェクトを記述します。 |
| グラウンド、領域、タイムスタンプ、抽出、比較、および不確実性に焦点を当てる | 主題、構図、カメラ、モーション、スタイル、サウンド、およびネガティブな制約に焦点を当てる |
よくある質問
画像生成プロンプトは、マルチモーダルプロンプトですか？
画像生成プロンプトは通常、テキストのみのリクエストです。リクエストに画像または別のメディア入力が含まれており、分析、比較、編集、またはガイダンスに使用される場合、マルチモーダルになります。
不確実な視覚的な詳細は、どのように処理すべきですか？
モデルに、直接観察された証拠と計算または推論を区別し、ページ、領域、フレーム、またはタイムスタンプを引用し、メディアが結論をサポートしていない場合はその旨を記述するように指示します。
マルチモーダル出力は、人間の検証なしで使用できますか？
低リスクな補助的な使用では、自動チェックが許可される場合がありますが、重要な決定を行う場合は、ソースの品質、抽出精度、サポートされていない推論、機密情報の取り扱い、およびモデル固有の制限事項を確認する必要があります。
公式参考資料
- Google Cloud — Design multimodal prompts
テキストと画像およびビデオの入力の組み合わせ、プロンプト部分の順序、トラブルシューティング、および出力の制御に関する公式ガイド。
- Google Cloud — Overview of prompting strategies
プロンプトの内容、構造、例、出力形式、反復、および評価に関する公式の概要。
関連用語ガイド
- AIプロンプト設計用語
メディア入力を追加する前に、役割、指示、例、制約、および出力スキーマをレビューします。
- AIコンテキストエンジニアリング用語
大規模なドキュメント、オーディオ、ビデオ、履歴、および関連資料を予算内で収集します。
- AI画像生成プロンプトの用語
画像を分析するのではなく、作成することを目的とする場合は、この別のガイドを使用してください。
- AIビデオ生成プロンプトの用語
カメラ、モーション、タイミング、一貫性、およびビデオ生成の制約については、この別のガイドを使用してください。