媒体输入
多模态提示
Multimodal prompt
含义
一个将文本与一种或多种媒体类型（例如图像、文档、音频或视频）组合的请求。
使用场景
当任务依赖于跨多个模态表达的信息时使用。
应用示例
比较图表图像与书面预测，并识别支持和冲突的声明。生成式 AI 工程
AI 多模态提示工程术语
了解如何构建、关联、比较和验证将文本与图像、文档、音频或视频相结合的 AI 请求。
17 个术语
媒体输入
图像输入
Image input
含义
一张照片、屏幕截图、扫描件、图表或其他图像，用于模型分析。
使用场景
指定模型应该检查的精确可见属性或区域。
应用示例
在附加的屏幕快照中，仅阅读错误横幅，并列出其代码和消息。媒体输入
文档输入
Document input
含义
一种文件，例如 PDF、演示文稿或报告，包含文本和视觉结构。
使用场景
说明任务是否需要保留页面、章节、表格或脚注引用。
应用示例
从合同中提取付款条款，并为每个项目引用页面和章节。媒体输入
音频输入
Audio input
含义
用于转录或分析的语音、音乐、环境音或其他声音录音。
使用场景
在转录之前，定义语言、说话者标签、时间戳和不确定性要求。
应用示例
记录韩语会议内容，在可区分的情况下标注发言者，并为每个决策添加时间戳。媒体输入
视频输入
Video input
含义
包含语音、文本、运动和场景变化的基于时间的视觉输入。
使用场景
请求提供时间证据，并区分所见、所闻或推断的内容。
应用示例
在每个场景切换时，提供时间戳、可见动作和口头声明。提示结构
交叉输入
Interleaved input
含义
文本和媒体项交替出现的序列，以便指令或标签靠近相关的项目。
使用场景
用于比较、逐步演示或涉及多个媒体项的请求。
应用示例
Image A -> its question -> Image B -> its question -> final comparison criteria提示结构
模态排序
Modality ordering
含义
文本、图像、文档、音频和视频部分呈现的顺序。
使用场景
将相关的指令放置在媒体附近，并为重要的工作流程尝试不同的顺序。
应用示例
首先提供图像，然后提供提取指令，最后提供输出模式。提示结构
图像的细节和分辨率
Image detail and resolution
含义
可用于阅读小文本、对象或空间关系的视觉细节量。
使用场景
当细节很重要时，请使用适当的分辨率，并裁剪相关的区域。
注意
较高的分辨率可以增加处理成本，并且仍然无法从原始图像中恢复缺失的细节。
应用示例
附加序列标签的特写照片，而不是整个设备的远距离照片。证据关联
视觉关联
Visual grounding
含义
将语句或提取的结果与图像或视频中的可观察内容相关联。
使用场景
当用户需要验证结论的来源时，需要提供引用。
应用示例
对于每个缺陷，描述可见的证据，并识别其大致位置。证据关联
区域引用和边界框
Region reference and bounding box
含义
对图像特定区域的文本、坐标或框式引用。
使用场景
使用区域来消除重复对象的歧义，并支持后续的审查或注释。
注意
坐标格式和精度因模型和 API 而异；在自动化之前进行验证。
应用示例
返回每个检测到的标签，并带有归一化的 [x_min, y_min, x_max, y_max] 边界框。证据关联
时间参考和时间戳
Temporal reference and timestamp
含义
标识音频或视频中事件发生的音频或视频时间位置或时间间隔。
使用场景
用于场景分析、证据审查、编辑和转录对齐。
应用示例
列出安全事件，包括开始时间、结束时间、观察到的操作和置信度。分析任务
OCR 指令
OCR instruction
含义
一个用于检测和转录图像或扫描文档中可见文本的请求。
使用场景
指定语言、布局保留、无法识别文本的处理方式，以及是否允许规范化。
应用示例
逐行记录收据内容；如果无法辨认缺失的字符，请使用“[无法辨认]”代替。分析任务
图表和表格的解释
Chart and table interpretation
含义
从可视化或表格数据中读取值、标签、趋势和关系。
使用场景
让模型区分直接读取的值与计算或推断的结论。
应用示例
首先提取图例和轴单位，然后报告最大的年增长率。分析任务
多图像比较
Multi-image comparison
含义
分析两张或多张图像之间的相似性、差异或变化。
使用场景
在请求结论之前，为每个图像添加标签，并定义稳定的比较标准。
应用示例
仅比较图像 A 和图像 B 的布局、可见文本、缺失控件和颜色变化。分析任务
跨模态推理
Cross-modal reasoning
含义
结合来自不同模态的证据，以回答问题或得出结论。
使用场景
当没有单个模态包含完整的答案时使用。
应用示例
使用口头金额、发票图像和策略文本来识别任何不匹配之处。证据关联
多模态证据引用
Multimodal evidence reference
含义
一个类似于引用的指针，指向支持答案的页面、区域、帧或时间戳。
使用场景
在可审查的输出中需要提供引用，并在后续的工作流程步骤中保留这些引用。
应用示例
断言：总计为 48.20；证据：第 1 页，右下角的总计行；置信度：高。可靠性
不支持的视觉推理
Unsupported visual inference
含义
一种结论，超出了所提供的媒体可见或可听到的范围。
使用场景
指示模型标记不确定性，并在无法确定某个属性时说明。
注意
不要仅根据外观来推断敏感特征、身份、意图或医疗状况。
应用示例
仅报告可见的损坏；除非媒体直接显示，否则不要推断原因。多模态输入与媒体生成
| 多模态提示工程 | AI 媒体生成提示 |
|---|---|
| 提供图像、文档、音频或视频，用于理解和分析。 | 描述要生成的图像、视频、语音、音乐或效果。 |
| 关注 grounding、regions、timestamps、extraction、comparison 和 uncertainty | 关注 subject、composition、camera、motion、style、sound 和 negative constraints |
常见问题
图像生成提示是否是多模态提示？
仅文本的请求用于生成图像，通常是一个媒体生成提示。 当请求还提供图像或其他媒体输入以进行分析、比较、编辑或指导时，它才成为多模态的。
应该如何处理不确定的视觉细节？
让模型区分直接观察到的证据与计算或推断，引用页面、区域、帧或时间戳，并说明当媒体不支持某个结论时。
是否可以使用多模态输出而无需人工验证？
低风险的辅助使用可能允许自动检查，但重要的决策应验证数据源的质量、提取的准确性、不支持的推理、敏感特征的处理以及模型特定的限制。
官方参考资料
- Google Cloud — Design multimodal prompts
关于结合文本与图像和视频输入、排序提示部分、排除故障以及控制输出的官方指南。
- Google Cloud — Overview of prompting strategies
关于提示内容、结构、示例、输出格式、迭代和评估的官方概述。
相关术语指南
- AI 提示设计术语
在添加媒体输入之前，审查角色、指令、示例、约束和输出模式。
- AI 上下文工程术语
整理和收集大型文档、音频、视频、历史记录和支持证据。
- AI 图像生成提示条款
当目标是创建图像而不是分析图像时，使用此单独的指南。
- AI 视频生成提示条款
使用此单独的指南来处理相机、运动、时间、连贯性和视频生成约束。