模型
生成式 AI
Generative AI
含义
AI 可以根据学习到的模式创建新的文本、图像、音频、代码或其他内容。
使用场景
在区分内容生成系统和分类或预测系统时，使用此术语。
应用示例
使用生成式 AI 生成三个产品描述，然后审查它们以确保事实准确性。生成式 AI 工程
生成式 AI 与 LLM 基础术语
理解在处理生成式 AI 和大型语言模型时使用的模型、输入、上下文、生成和操作术语。
12 个术语
模型
基础模型
Foundation model
含义
一种广泛训练的模型，可以适应许多下游任务。
使用场景
在讨论聊天机器人、代理或专用应用程序背后的基础模型时使用。
应用示例
选择一个基础模型，然后添加用于客户支持的检索和特定任务的指令。模型
大型语言模型 (LLM)
Large language model (LLM)
含义
一个在大型文本集合上训练的模型，用于理解和生成语言序列。
使用场景
用于文本生成、摘要、提取、翻译和对话任务。
应用示例
让 LLM 将会议记录总结为决策、负责人和截止日期。模型
多模态模型
Multimodal model
含义
一个可以处理或生成多种数据类型的模型，例如文本和图像。
使用场景
在任务涉及屏幕截图、文档、音频、视频或文本时使用。
应用示例
提供一个图表图像，并要求多模态模型解释图中显示的趋势。输入和上下文
令牌
Token
含义
语言模型处理的文本单元；它可能是一个单词、单词的一部分或标点符号。
使用场景
使用token数量来估算上下文容量、延迟和使用成本。
应用示例
当输入接近模型的token限制时，删除重复的指令。输入和上下文
上下文窗口
Context window
含义
模型在一次请求中可以考虑的最大输入和生成输出量。
使用场景
用于决定文档是否应该被总结、分块或有选择地检索。
注意
较大的上下文窗口并不保证包含的每个细节都会被正确使用。
应用示例
检索五个最相关的段落，而不是将整个存档放入上下文窗口中。输入和上下文
系统指令
System instruction
含义
一个高优先级指令，用于定义模型的角色、规则和响应行为。
使用场景
使用它来设置由许多用户请求共享的持久行为。
应用示例
您是支持助手。 引用提供的策略，并在缺少证据时说明。操作
模型权重
Model weights
含义
学习到的数值，编码了在训练过程中获得的模式。
使用场景
当比较基本模型、微调模型、量化模型或开源权重模型时，请使用该术语。
应用示例
加载经过批准的模型权重到隔离的推理环境中。操作
推理
Inference
含义
在新输入上运行训练好的模型以产生输出的过程。
使用场景
在讨论服务、延迟、硬件或每个请求的成本时使用。
应用示例
批量处理非紧急推理请求以提高吞吐量。操作
知识截止时间
Knowledge cutoff
含义
模型训练知识中最重要的时间点。
使用场景
在询问有关最近事件、价格、政策或软件版本之前，请先检查。
应用示例
使用实时搜索来查找模型知识截止日期之后的事件。生成
采样
Sampling
含义
用于从模型的概率分布中选择每个下一个令牌的方法。
使用场景
在需要更具确定性或更多样化的输出时，调整采样方式。
应用示例
使用保守的采样进行策略提取，使用更广泛的采样进行创意发散。生成
温度
Temperature
含义
一种生成设置，通常控制令牌选择的集中程度或多样性。
使用场景
对于可重复的结构化任务，将其降低；对于探索，谨慎地提高它。
注意
确切的效果和支持范围因模型和提供商而异。
应用示例
设置一个较低的温度，用于将发票转换为固定的 JSON 模式。