媒體輸入
多模態提示
Multimodal prompt
意思
一個將文字與一個或多個媒體類型（例如圖像、文檔、音訊或視訊）組合的請求。
使用時機
在任務取決於跨多個模態表達的資訊時使用。
應用範例
比較圖形圖像與書面預測，並識別支援和衝突的聲明。生成式 AI 工程
AI 多模態提示工程術語
學習如何結構化、錨定、比較和驗證結合文本與圖像、文件、音訊或影片的 AI 請求。
17 個術語
媒體輸入
圖像輸入
Image input
意思
一張照片、螢幕截圖、掃描件、圖表或其他圖像，用於模型分析。
使用時機
指定模型應該檢查的確切可見屬性或區域。
應用範例
在附加的截圖中，僅閱讀錯誤橫幅，並列出其代碼和消息。媒體輸入
文檔輸入
Document input
意思
一個文件，例如 PDF、演示文稿或報告，包含文本和視覺結構。
使用時機
說明是否需要保留頁面、章節、表格或註釋引用。
應用範例
從合約中提取付款條款，並為每個項目引用頁面和部分。媒體輸入
音訊輸入
Audio input
意思
用於轉錄或分析的語音、音樂、環境音或另一種聲音錄音。
使用時機
在進行語音轉文字之前，定義語言、說話者標籤、時間戳和不確定性要求。
應用範例
記錄韓語會議內容，在可區分的情況下標記講者，並為每個決策添加時間戳。媒體輸入
影片輸入
Video input
意思
一個基於時間的視覺輸入，可能還包含語音、文本、運動和場景變化。
使用時機
請求提供時間證據，並區分看到的、聽到的或推斷出的內容。
應用範例
在每個場景變更時，提供時間戳、可見的動作和說明的聲明。提示結構
交錯輸入
Interleaved input
意思
一個序列，其中文字和媒體項目交替排列，以便指令或標籤靠近相關項目。
使用時機
適用於比較、逐步演示或涉及多個媒體項目的請求。
應用範例
Image A -> its question -> Image B -> its question -> final comparison criteria提示結構
模態排序
Modality ordering
意思
文本、圖像、文檔、音訊和視頻內容的呈現順序。
使用時機
將相關的說明放置在媒體附近，並測試重要的工作流程的替代順序。
應用範例
首先提供圖像，然後提供提取指令，最後提供輸出模式。提示結構
圖像的細節和分辨率
Image detail and resolution
意思
可用於閱讀小型文字、物件或空間關係的視覺細節量。
使用時機
當細節很重要時，請使用適當的分辨率，並裁剪相關區域。
注意
更高的分辨率可以增加處理成本，並且仍然無法恢復源圖像中缺失的細節。
應用範例
附加序列標籤的特寫照片，而不是整個設備的遠距離照片。證據關聯
視覺錨定
Visual grounding
意思
將陳述或提取的結果與圖像或影片中的可觀察內容關聯起來。
使用時機
當使用者必須驗證結論的來源時，需要這樣做。
應用範例
對於每個缺陷，描述可見的證據，並確定其大致位置。證據關聯
區域參考和邊界框
Region reference and bounding box
意思
一個文本、座標或框式引用，指向圖像的特定區域。
使用時機
使用區域來消除重複對象的歧義，並支援後續的審查或註解。
注意
座標格式和精度因模型和 API 而異；在自動化之前，請驗證它們。
應用範例
返回每個檢測到的標籤，並包含一個正規化的 [x_min, y_min, x_max, y_max] 邊框。證據關聯
時間參考和時間戳
Temporal reference and timestamp
意思
一個在音頻或視頻中識別事件發生的時間位置或間隔。
使用時機
適用於場景分析、證據審查、編輯和轉錄對齊。
應用範例
以開始時間、結束時間、觀察到的操作和置信度列出安全事件。分析任務
OCR 指令
OCR instruction
意思
一個請求，用於檢測和轉錄圖像或掃描文檔中可見的文字。
使用時機
指定語言、保留佈局、處理不可讀文本，以及是否允許正規化。
應用範例
逐行記錄收據內容；如果無法辨識某些字符，請使用「無法辨識」代替。分析任務
圖表和表格的解讀
Chart and table interpretation
意思
從可視化或表格數據中讀取值、標籤、趨勢和關係。
使用時機
請求模型區分直接讀取的數值與計算或推斷的結論。
應用範例
首先提取圖例和軸單位，然後報告最大的年度變化。分析任務
多圖像比較
Multi-image comparison
意思
分析兩個或多個圖像之間的相似性、差異或變化。
使用時機
在請求結論之前，請為每個圖像添加標籤，並定義穩定的比較標準。
應用範例
僅比較圖像 A 和圖像 B 的版面配置、可見文字、缺失的控件和顏色變化。分析任務
跨模式推理
Cross-modal reasoning
意思
結合來自不同模態的證據，以回答問題或得出結論。
使用時機
在沒有單一模態包含完整答案時使用。
應用範例
使用說出的金額、發票圖片和策略文字來識別任何不一致之處。證據關聯
多模態證據引用
Multimodal evidence reference
意思
一個類似於引用的指標，指向支持答案的頁面、區域、幀或時間戳。
使用時機
在可審查的輸出中，需要引用來源，並在後續的工作流程步驟中保留這些引用。
應用範例
斷言：總計為 48.20；證據：第 1 頁，右下角的總金額行；置信度：高。可靠性
不支援的視覺推理
Unsupported visual inference
意思
一個超出供應媒體可見或可聽範圍的結論。
使用時機
指示模型標記不確定性，並在無法確定某個屬性時說明。
注意
不要僅僅通過外觀來推斷敏感的特徵、身份、意圖或醫療狀況。
應用範例
僅報告可見的損壞；除非媒體直接顯示，否則不要推斷原因。多模態輸入與媒體生成
| 多模態提示工程 | AI 媒體生成提示 |
|---|---|
| 提供圖像、文件、音訊或影片，用於理解和分析。 | 描述要生成的圖像、視頻、語音、音樂或效果。 |
| 關注接地、區域、時間戳、提取、比較和不確定性 | 關注主題、構圖、相機、運動、風格、聲音和負面約束 |
常見問題
圖像生成提示是否是多模態提示？
一個僅包含文本的請求，用於生成圖像，通常是一個媒體生成提示。當請求還提供圖像或其他媒體輸入以進行分析、比較、編輯或引導時，它才成為多模態的。
應該如何處理不確定的視覺細節？
請求模型區分直接觀察到的證據與計算或推斷，引用頁面、區域、幀或時間戳，並說明當媒體不支持任何結論時。
是否可以在沒有人工驗證的情況下使用多模態輸出？
低風險的輔助使用可能允許自動檢查，但重要的決策應驗證來源品質、提取準確性、不受支援的推理、敏感特徵處理以及模型特定的限制。
官方參考資料
- Google Cloud — Design multimodal prompts
關於將文本與圖像和影片輸入結合、排序提示部分、排除故障以及控制輸出的官方指南。
- Google Cloud — Overview of prompting strategies
關於提示內容、結構、示例、輸出格式、迭代和評估的官方概述。
相關術語指南
- AI 提示設計術語
在添加多媒體輸入之前，審查角色、指令、範例、約束和輸出模式。
- AI 上下文工程術語
整理和彙集大型文件、音訊、影片、歷史記錄和支持性證據。
- AI 圖像生成提示條款
當目標是創建圖像而不是分析圖像時，使用此獨立指南。
- AI 影片生成提示條款
使用此獨立指南，了解相機、運動、時間、連貫性和視頻生成約束。