训练基础
模型训练
Model training
含义
调整模型参数以使模型能够执行目标行为或任务的过程。
使用场景
使用该术语来表示整个优化过程，包括数据准备、训练运行、验证和检查点选择。
应用示例
在运行之前，定义训练目标、批准的数据集、验证计划、计算预算和停止标准。生成式 AI 工程
AI 模型学习与训练术语
了解训练数据、目标、批次、epoch、损失、梯度、优化器、学习率、验证、过拟合、检查点、分布式训练和可重复性。
61 个术语
训练基础
预训练
Pre-training
含义
大规模训练，在模型适应于更窄的任务或领域之前，教会模型广泛的模式。
使用场景
在区分基础模型的创建与后续的微调或对齐时使用。
应用示例
在经过授权的多语言语料库上预训练基础模型，然后评估语言覆盖率。训练基础
基础模型
Foundation model
含义
一种广泛预训练的模型，旨在支持许多下游任务和适应。
使用场景
在识别后续的提示、检索、适配器或微调所基于的通用模型时使用。
应用示例
记录批准的基础模型系列、版本、许可证以及预期的适配路径。训练基础
基础模型
Base model
含义
用作推理或额外适应的起点，使用的特定预训练检查点。
使用场景
使用确切的模型和修订标识符，以便可以重现训练和部署。
应用示例
基础模型：已批准的模型 ID 和不可变的修订摘要。训练基础
模型参数
Model parameter
含义
模型中一个数值，可能在训练过程中被学习，或者通过选择的方法被固定。
使用场景
在比较模型的总部分、冻结部分和可训练部分时使用。
应用示例
报告总参数数量以及训练方法更新的子集。训练基础
迁移学习
Transfer learning
含义
将为一项任务或领域学习的知识用作另一个相关任务的起点。
使用场景
在使用预训练表示形式而不是从随机初始化训练新模型时使用。
应用示例
从经过批准的语言模型开始，并将其调整为意图分类。训练基础
训练目标
Training objective
含义
训练运行尝试优化的数学或行为目标。
使用场景
在选择数据、标签、损失函数和评估指标之前，定义它。
应用示例
目标：在批准的领域语料库上，预测下一个 token 并最小化验证损失。训练基础
监督学习
Supervised learning
含义
通过将输入与预期标签或输出配对进行训练。
使用场景
当有可靠的目标答案、类别或值可用时使用。
应用示例
使用与审查后的意图标签配对的支持问题进行训练。训练基础
自监督学习
Self-supervised learning
含义
训练，它从未标记数据的结构本身推断预测目标。
使用场景
用于大规模表示或语言模型学习，当手动标注不切实际时。
应用示例
隐藏或移动每个序列的一部分，并训练模型来预测缺失或下一个内容。训练数据
训练数据集
Training dataset
含义
用于计算梯度和更新模型参数的示例。
使用场景
从相关、已授权、具有代表性和经过质量控制的数据中构建。
注意
不要假设公开可访问的数据自动获得模型训练的授权。
应用示例
创建一个版本化的训练数据集，包含源、许可证、同意书、语言和质量元数据。训练数据
验证数据集
Validation dataset
含义
一个保留的数据集，用于在开发过程中比较设置并监控泛化能力。
使用场景
用于检查点选择、提前停止以及超参数决策，而无需从其示例中更新权重。
应用示例
评估每个 epoch 的验证损失，并保留最佳的已批准检查点。训练数据
测试数据集
Test dataset
含义
专门保留的数据集，用于在开发选择完成后进行最终、偏差较小的估计。
使用场景
仅在模型和超参数选择完成后使用，以避免在最终测试中进行调整。
应用示例
在实验之前锁定测试集，并报告其版本以及最终结果。训练数据
训练语料库
Training corpus
含义
一组文本、代码、图像、音频或其他材料的集合，用于模型学习。
使用场景
在讨论源数据覆盖范围、来源、过滤和权限时，使用此术语，尤其是在处理大量数据时。
应用示例
文档语料库的来源、收集日期、排除项、权利基础以及删除程序。训练数据
训练样本或示例
Training sample or example
含义
一个单元被传递到训练流水线中，例如一个带标签的行、序列、图像、对话或偏好对。
使用场景
在定义模式、采样权重、质量检查以及哪些内容计入数据集大小时使用。
应用示例
一个示例包含输入、目标、源 ID、权限元数据和质量状态。训练数据
标签
Label
含义
与监督训练示例相关联的目标类、值、范围、响应或判断。
使用场景
使用记录好的标准定义标签，并衡量审查员对模糊任务的意见一致性。
应用示例
为每个工单添加一个已批准的意图，并记录不确定的情况以便进行裁决。训练数据
数据增强
Data augmentation
含义
通过应用受控的转换来创建额外的训练示例，这些转换可以保留预期的标签或行为。
使用场景
用于提高覆盖率，同时验证转换是否仍然逼真，并且不改变目标含义。
应用示例
创建释义版本，然后检查每个版本是否保留了原始意图标签。训练数据
数据污染
Data contamination
含义
训练数据中存在评估示例或其近义词，导致评估结果夸大了泛化能力。
使用场景
在训练之前，检查精确重叠和语义重叠，并隔离受保护的评估数据集。
应用示例
比较训练和评估分割中的哈希值和近重复嵌入。训练数据
训练分词
Training tokenization
含义
将原始内容转换为模型输入单位和标识符，并在训练过程中使用。
使用场景
保持分词器选择、词汇表、归一化和特殊标记与模型和推理管道兼容。
应用示例
记录分词器版本、词汇表大小、特殊标记、截断方式以及最大序列长度。训练数据
数据分割
Data split
含义
将示例划分为训练集、验证集和测试集。
使用场景
通过用户、时间、文档或组进行分割，以防止随机行在子集中泄露近重复数据。
应用示例
按客户帐户拆分，以便来自一个客户的对话不会同时出现在训练数据和测试数据中。训练数据
数据去重
Data deduplication
含义
检测和删除或组合相同的和近似重复的训练示例。
使用场景
使用它来减少记忆、数据不平衡、浪费的计算资源和训练-测试污染。
应用示例
在分割之前，删除完全匹配的哈希值、规范化的文本以及高相似度的文档片段。训练数据
伪造训练数据
Synthetic training data
含义
示例由软件或模型生成或转换，而不是直接从真实事件中收集。
使用场景
用于覆盖罕见情况、格式或隐私保护模拟，然后验证真实性和偏见。
注意
伪造数据可能会复制原始数据的偏差、错误或受保护的表达，并且仍然需要进行溯源和质量检查。
应用示例
生成边缘情况支持对话，将其标记为合成数据，并在训练之前进行审查。训练数据
机密训练数据
Confidential training data
含义
客户记录、商业秘密、内部文档、凭据或其他被认为是用于训练的受限信息。
使用场景
除非有明确的授权、记录的目的、严格的访问控制以及批准的保留和删除计划，否则默认情况下排除它。
注意
永远不要将凭据、客户密钥或商业秘密放置在未经批准的授权和提供商策略审查的训练服务中。
应用示例
在摄取过程中阻止凭据和商业秘密，并将不确定的记录路由给授权的审核人员。训练数据
数据泄露
Data leakage
含义
在训练过程中，意外地使用了信息，这些信息在实际的预测环境中是不可用的。
使用场景
检查特征、标签、时间戳和预处理，以防止出现不切实际的高评估分数。
应用示例
在训练一个预测工单升级的模型之前，删除在模型输入时使用的字段。训练循环
批次
Batch
含义
一组在一次前向和反向计算中一起处理的训练示例。
使用场景
使用批次，以平衡计算效率、内存使用和梯度稳定性。
应用示例
使用填充序列和注意力掩码组装每个批次。训练循环
迷你批次
Mini-batch
含义
训练数据的较小子集，用于一次计算一个梯度，而不是一次处理整个数据集。
使用场景
将其用作大型数据集上随机优化的标准实用单位。
应用示例
重新打乱训练集，并构建具有相似序列长度的小批量数据。训练循环
批次大小
Batch size
含义
批次中包含的示例或序列的数量。
使用场景
根据序列长度、内存、优化行为和有效批次大小进行调整。
应用示例
从每个设备的批处理大小为 4 开始，仅在内存要求时使用梯度累积。训练循环
训练步骤/迭代
Training step / iteration
含义
一次优化器更新周期，可能消耗一个或几个微批次。
使用场景
用于日志记录、调度、保存检查点以及比较运行时间。
应用示例
每 20 次优化器迭代，记录训练损失和学习率。训练循环
纪元
Epoch
含义
完整地遍历一次训练数据集，使用配置的采样过程。
使用场景
使用 epoch 计数并结合验证曲线，而不是简单地认为更多的 epoch 总是更好。
应用示例
对于 1000 个示例和批次大小为 50，一个 epoch 包含大约 20 个批次。训练循环
前向传播
Forward pass
含义
将模型输入通过网络进行计算，以生成预测和损失值。
使用场景
在解释每个训练迭代的第一部分，然后再计算梯度时使用。
应用示例
运行前向传播，对 token ID 进行处理，并将预测的 token 与目标标签进行比较。训练循环
损失函数
Loss function
含义
一个函数，用于测量模型预测与训练目标的偏差程度。
使用场景
根据任务、标签格式、类别平衡和期望行为，选择它。
应用示例
分别跟踪令牌级别的训练损失和序列级别的任务指标。训练循环
反向传播
Backpropagation
含义
将损失函数的导数反向传播到模型中，以计算梯度的过程。
使用场景
用于解释错误信号如何到达可训练的参数。
应用示例
反向传播缩放后的损失，裁剪梯度，然后更新优化器。训练循环
梯度
Gradient
含义
一组导数，指示参数更改将如何影响损失。
使用场景
监控梯度范数，以检测不稳定、梯度消失或梯度爆炸。
应用示例
当梯度范数在优化器步骤之前变为非有限值时，发送警报。训练循环
优化器
Optimizer
含义
一个算法，它使用梯度和配置状态来更新可训练参数。
使用场景
与学习率、权重衰减和精度设置一起选择并配置它。
应用示例
使用 AdamW 优化器，并显式记录学习率、权重衰减和优化器版本。训练循环
随机梯度下降 (SGD)
Stochastic gradient descent (SGD)
含义
一种优化方法，它根据在单个示例或 mini-batch 上估计的梯度来更新参数。
使用场景
将其用作一个基础的优化概念，并比较任务中的动量或调度选择。
应用示例
使用记录的学习率、动量、调度器和批处理配置运行 SGD。训练循环
AdamW
AdamW
含义
一个自适应优化器，它将权重衰减与基于梯度的参数更新分离。
使用场景
当受训练配方支持时，记录所有优化器超参数以实现可重复性。
应用示例
记录 AdamW 学习率、beta 值、epsilon 值、权重衰减以及实现版本。训练循环
学习率
Learning rate
含义
一个超参数，控制优化过程中参数更新的范围。
使用场景
仔细调整它，因为过高的值可能会使训练不稳定，而过低的值可能会阻碍进度。
注意
没有通用的正确学习率；合适的数值取决于模型、方法、数据、批次大小和优化器。
应用示例
使用相同的数据分割、种子和评估时间表，比较候选学习率。训练循环
学习率调度器
Learning-rate scheduler
含义
一条规则，用于在训练过程中改变学习率。
使用场景
使用它来预热训练，衰减更新，或根据实验计划对平台进行调整。
应用示例
先进行预热，以计划的步数比例进行预热，然后使用余弦衰减到最终速率。训练循环
预热
Warmup
含义
一个初始阶段，它逐渐将学习率从一个小值提高。
使用场景
使用它来减少训练开始阶段的不稳定更新，尤其是在大型模型优化中。
应用示例
将预热步骤记录为可重现的训练配置的一部分。泛化和质量
训练损失
Training loss
含义
损失值在批次中计算，用于更新模型参数。
使用场景
使用它来监控优化进度，但不要将低值视为泛化能力的证明。
应用示例
绘制优化器步骤的平滑训练损失曲线，并调查突然的峰值或非有限值。泛化和质量
验证损失
Validation loss
含义
损失值在未用于更新参数的验证示例中进行测量。
使用场景
将其与训练损失进行比较，以检测过拟合并选择候选检查点。
应用示例
保持具有最佳已批准验证行为的检查点，不一定是最晚的 epoch。泛化和质量
收敛
Convergence
含义
训练更新产生越来越小的或更稳定的改进的状态。
使用场景
不要仅根据训练损失来判断，而是要结合训练曲线和验证曲线以及任务指标进行判断。
应用示例
只有在验证指标在所有检查点稳定之后，才将运行视为已收敛。泛化和质量
泛化
Generalization
含义
训练好的模型在相关示例上表现良好的能力，这些示例是在训练时未使用的。
使用场景
在具有代表性的保留样本和真实场景中进行测量。
应用示例
比较在不同用户、时间段、语言和困难边缘情况下（edge cases）的性能。泛化和质量
过拟合
Overfitting
含义
一种情况，模型在训练数据上拟合良好，但在未见过的数据上表现较差。
使用场景
观察训练和验证行为之间的差距是否扩大，并使用数据、正则化或提前停止来应对。
应用示例
当验证损失恶化，而训练损失继续下降时停止。泛化和质量
欠拟合
Underfitting
含义
一种情况，模型无法学习足够的结构，即使在训练数据上也无法表现良好。
使用场景
检查模型容量、特征或数据质量、优化设置和训练时长。
应用示例
当训练和验证指标都表现不佳时，请调查欠拟合问题。泛化和质量
正则化
Regularization
含义
限制或塑造学习的技术，以减少过拟合并提高对未见数据的表现。
使用场景
结合模型容量、数据量、增强和提前停止，选择正则化方法。
应用示例
比较验证行为与记录的权重衰减和 dropout 设置。泛化和质量
权重衰减
Weight decay
含义
一种正则化设置，用于防止参数值在优化过程中过度增长。
使用场景
使用优化器进行调整，并验证哪些参数不参与衰减。
应用示例
记录权重衰减以及将其应用于的参数组。泛化和质量
Dropout (丢弃)
Dropout
含义
一种正则化技术，在训练过程中随机禁用选定的激活。
使用场景
仅在架构和训练方法支持的情况下使用，并在评估期间禁用训练行为。
应用示例
设置并记录支持的 dropout 率，然后比较验证性能。泛化和质量
梯度裁剪
Gradient clipping
含义
在优化器更新之前，限制梯度幅值或范数，以减少不稳定的步骤。
使用场景
当可能出现梯度突变时，并监控裁剪发生的频率。
应用示例
将全局梯度范数限制在记录的阈值以下，并记录裁剪步骤。泛化和质量
Early stopping (提前停止)
Early stopping
含义
当受监控的验证指标不再在定义的规则下改进时，停止训练运行。
使用场景
使用耐心和最小改进阈值，以避免对单个噪声评估做出反应。
应用示例
在三次验证检查后，如果未取得有意义的改进，则停止，并恢复最佳检查点。泛化和质量
训练检查点
Training checkpoint
含义
保存的训练状态，包含模型参数，通常还包含优化器、调度器和进度信息。
使用场景
使用检查点，用于恢复、比较、评估和受控的推广。
应用示例
保存带版本号的检查点，包括数据集、代码、分词器和配置标识符。计算和可重复性
AI 加速器 (GPU, TPU, NPU)
AI accelerator (GPU, TPU, NPU)
含义
专门的计算硬件用于加速模型训练和推理中的张量运算。
使用场景
根据框架支持、数值格式、内存、互连、可用性和成本选择硬件。
应用示例
记录加速器类型、数量、内存、运行时、驱动程序以及估计的训练成本。计算和可重复性
视频内存 (VRAM)
Video memory (VRAM)
含义
用于模型权重、优化器状态、激活、梯度和批次的加速器上的内存。
使用场景
在训练前进行估算，并在必要时调整批次大小、精度、分片或检查点。
应用示例
测量最长支持序列的峰值分配的 VRAM，以及有效的批处理配置。计算和可重复性
FP16 和 BF16
FP16 and BF16
含义
降低精度数值格式常用于降低训练内存并提高加速器的吞吐量。
使用场景
仅使用硬件和框架支持的格式，并进行有限值和质量检查。
应用示例
比较 BF16 或 FP16 训练的稳定性和输出质量，与批准的基线进行比较。计算和可重复性
梯度累积
Gradient accumulation
含义
在一个优化器更新之前，将来自多个微批次的梯度组合在一起。
使用场景
使用它在设备内存受限时，达到更大的有效批次大小。
应用示例
有效批次大小 = 每个设备的批次 × 累积步骤 × 数据并行设备的数量。计算和可重复性
混合精度训练
Mixed-precision training
含义
训练，它使用多种数值精度来提高速度或内存效率，同时保持必要的稳定性。
使用场景
使用受支持的 FP16 或 BF16 工作流程，并进行损失和有限值监控。
应用示例
在兼容的硬件上启用 BF16，并验证其与基准运行相比的损失一致性。计算和可重复性
梯度检查点
Gradient checkpointing
含义
一种节省内存的技术，它在反向传播过程中重新计算选定的激活值，而不是存储所有激活值。
使用场景
当内存是瓶颈，并且可以接受额外的计算时使用。
应用示例
启用梯度检查点，以适应更长的序列，然后测量训练速度的下降。计算和可重复性
分布式训练
Distributed training
含义
训练，它协调多个加速器或机器上的计算或模型状态。
使用场景
当一个设备无法满足模型大小或训练时间要求时使用。
应用示例
记录数据并行策略、世界大小、分片策略、网络设置以及恢复程序。计算和可重复性
数据并行
Data parallelism
含义
将模型复制到处理不同数据批次的多个工作节点上，并同步更新。
使用场景
当模型可以放入每个工作节点，并且需要更高的批处理吞吐量时使用。
应用示例
记录工作进程数量、全局批次大小、梯度同步以及故障恢复行为。计算和可重复性
模型并行
Model parallelism
含义
将模型计算或参数分散到多个设备上，因为单个设备无法高效地存储或处理整个模型。
使用场景
根据架构和框架的支持情况，使用张量、流水线或分片方法。
应用示例
记录分区策略、通信成本、检查点格式以及兼容性。计算和可重复性
随机种子
Random seed
含义
一个用于初始化伪随机操作的值，例如洗牌、采样、dropout 和参数初始化。
使用场景
记录它，以便可以重复实验，同时认识到分布式硬件和某些内核可能仍然是不可预测的。
应用示例
比较多个记录的种子，而不是依赖于一次有利的运行。计算和可重复性
训练可重复性
Training reproducibility
含义
重复运行以获得足够接近的结果，以便解释和比较其结果的能力。
使用场景
版本数据、代码、模型、tokenizer、依赖项、种子、配置和硬件详细信息。
应用示例
存储包含提交 ID、数据集哈希、种子、包锁定和检查点 URI 的运行清单。批次、微批次、步长和 epoch
这些单元描述训练过程的不同部分，不应相互替代。
| 术语 | 含义 |
|---|---|
| 批次 | 一组在一次前向/反向计算中一起处理的内容。 |
| 迷你批次 | 一个较小的子集，用于代替整个数据集。 |
| 训练步骤 | 一次优化器更新，可能是在经过几个累积的微批次之后。 |
| 纪元 | 完整地遍历一次训练集；1000 个示例，批次大小为 50，大约是每个 epoch 20 个批次。 |
常见问题
为什么必须将训练数据、验证数据和测试数据分开？
训练数据更新参数，验证数据指导开发决策，测试数据估计最终性能。 将相同的或近似的示例混合到这些数据集中可能会夸大结果并隐藏较差的泛化能力。
批次大小、训练步骤和 epoch 之间是什么关系？
一个 epoch 迭代处理整个训练集一次。如果没有梯度累积，近似的每个 epoch 的批次数量是数据集大小除以批次大小。对于累积和多个 worker，区分每个设备的批次大小、有效批次大小和全局批次大小。
当训练损失下降但验证损失上升时，这意味着什么？
这是一个常见的过拟合信号。审查数据重叠和质量，然后考虑提前停止、正则化、数据增强、模型容量，以及使用多个任务指标，而不是仅仅依赖一个损失曲线。
训练模型是否总是需要 GPU？
否。 小型模型和实验可以在 CPU 上运行，而较大的神经网络通常受益于 GPU、TPU 或 NPU。 选择取决于框架支持、模型大小、序列长度、时间和预算。
是否可以使用公开可访问的数据进行训练？
仅公共可访问性不足以建立训练权限。 检查版权、许可证、合同、隐私、同意、保密性、收集规则以及提供商条款，并保留来源信息和删除程序。
官方参考资料
- Google Machine Learning Glossary
关于训练、验证、测试集、批次、epoch、损失、过拟合和其他机器学习基础知识的官方术语表。
- Hugging Face Transformers — Fine-tuning
显示 tokenization、训练参数、数据集、epoch、批次大小、学习率、评估和 checkpoint 的官方指南。
- Hugging Face Transformers — Trainer
描述训练循环的官方说明，涵盖批处理、前向传播、损失、反向传播、梯度和参数更新。
相关术语指南
- 生成式 AI 与 LLM 基础术语
审查模型权重、基础模型、推理、令牌和上下文窗口。
- AI 结果验证与评估术语
将训练工作连接到评估数据集、基准测试、评分标准、回归测试和运营指标。
- AI 微调与对齐术语
从通用的训练概念开始，逐步介绍 SFT、LoRA、偏好优化、评估和部署。