微调概述
微调
Fine-tuning
含义
从预训练模型开始持续训练，以使其行为适应更窄的任务、领域、格式或偏好。
使用场景
当仅使用提示和检索无法提供足够一致的学习行为时使用。
应用示例
使用经过审查的支持回复对批准的基础模型进行微调，然后将其与未更改的基线进行比较。生成式 AI 工程
AI 微调与对齐术语
学习微调、持续预训练、指令调优、SFT、PEFT、LoRA、QLoRA、偏好数据、RLHF、DPO、GRPO、回归评估、数据权利、隐私、版本控制和回滚。
54 个术语
微调概述
后续任务
Downstream task
含义
使用预训练模型执行的特定应用程序任务。
使用场景
在收集微调数据和选择指标之前，精确定义它。
应用示例
后续任务：将韩国支持请求分类到批准的路由分类中。微调概述
领域自适应
Domain adaptation
含义
将模型适配到特定领域或环境中的语言、模式或分布。
使用场景
当目标领域与模型的通用训练分布存在实质性差异时使用。
应用示例
将模型适配到授权的半导体维护文档，并在未见过的手册上进行评估。微调概述
持续预训练
Continued pre-training
含义
在执行特定任务的微调之前，对基础模型进行进一步的预训练，使用额外的未标记或自监督领域数据。
使用场景
用于广泛的领域语言适应，当少量指令示例不足时。
应用示例
在具有许可证的领域语料库上进行预训练，然后运行监督指令微调。微调概述
指令调整
Instruction tuning
含义
通过微调指令和期望的响应，使模型能够更可靠地执行各种自然语言任务。
使用场景
使用多样化、经过审查的说明，这些说明应反映目标用户、任务、语言和安全边界。
应用示例
使用涵盖摘要、提取、拒绝和澄清的指令-响应示例进行训练。微调概述
训练后
Post-training
含义
训练是在广泛的预训练之后进行的，以提高任务遵循、偏好、安全性或部署行为。
使用场景
将其用作一个总括术语，包括监督微调、偏好优化、奖励建模以及相关的对齐工作。
应用示例
记录每个训练后阶段，包括其数据、目标、检查点和评估标准。微调概述
监督微调 (SFT)
Supervised fine-tuning (SFT)
含义
学习来自与审查的目标响应或标签配对的输入的微调。
使用场景
使用它来教导响应格式、任务流程、语气以及期望行为的示例。
应用示例
SFT 示例：用户请求、批准的助手回复、元数据和数据权限记录。微调概述
模型对齐
Model alignment
含义
努力使模型行为更好地遵循定义的、人类的意图、策略、偏好和安全要求。
使用场景
将其用作指令微调、偏好优化、安全训练和行为评估背后的总体目标。
应用示例
定义对齐目标、不可接受的行为、评估案例和人工审批环节。微调概述
行为适应
Behavior adaptation
含义
更改模型响应方式、输出格式、遵循流程或处理不确定性的方式，而无需假设它获得了当前的实际知识。
使用场景
当期望的更改涉及稳定的响应模式，而不是频繁更改的信息时使用。
应用示例
当缺少所需的帐户证据时，将模型适配为请求澄清。方法和适配器
全量微调
Full fine-tuning
含义
更新基础模型的所有或大部分参数的微调。
使用场景
仅当预期的收益能够证明其显著的内存、计算、存储和评估成本时使用。
应用示例
比较完整的微调与 PEFT 基线，使用相同的数据和评估集。方法和适配器
参数高效微调 (PEFT)
Parameter-efficient fine-tuning (PEFT)
含义
一系列方法，在训练过程中，仅调整模型中相对较小的一部分参数。
使用场景
使用它来减少训练内存、存储和每个任务的检查点大小。
应用示例
为每个经过批准的领域训练一个单独的 PEFT 适配器，同时保持基础权重不变。方法和适配器
适配器
Adapter
含义
一组附加或修改的参数，附加到基本模型，用于特定的适配。
使用场景
使用适配器，将特定于任务的更改与共享的基础权重分离。
应用示例
仅为授权的金融工作流程加载金融适配器。方法和适配器
低秩适配 (LoRA)
Low-rank adaptation (LoRA)
含义
一种 PEFT 方法，它在保持基本权重不变的情况下，学习用于选定模型模块的低秩更新矩阵。
使用场景
当较小的可训练状态和可重用的适配器适合部署设计时使用。
应用示例
将 LoRA 应用于选定的注意力投影，并记录秩、alpha、dropout 和目标模块。方法和适配器
QLoRA
QLoRA
含义
一种微调方法，在将基础模型加载到量化表示形式时，训练 LoRA 适配器。
使用场景
使用它来减少基础模型的内存占用，同时验证数值稳定性和质量，并与合适的基准进行比较。
应用示例
加载经过批准的基础模型，并使用支持的量化格式进行训练，仅训练 LoRA 适配器。方法和适配器
量化
Quantization
含义
使用精度较低的格式表示模型值，以减少内存、存储或计算需求。
使用场景
当支持的方法和硬件可以保持可接受的质量和数值行为时使用。
应用示例
在 QLoRA 和记录格式、位宽、库和计算数据类型之前，评估量化的基础模型。方法和适配器
LoRA rank
LoRA rank
含义
LoRA 适配器使用的低秩更新矩阵的维度。
使用场景
将其视为容量和资源之间的权衡，而不是假设更大的秩总是更好。
应用示例
比较 rank 8 和 rank 16，使用相同的种子、数据、步骤和评估套件。方法和适配器
LoRA alpha
LoRA alpha
含义
缩放配置，影响学习的 LoRA 更新的贡献。
使用场景
记录其等级和实现细节，因为解释可能取决于使用的库。
应用示例
在适配器清单中存储 rank、alpha、dropout、目标模块和库版本。方法和适配器
目标模块
Target modules
含义
选择以接收适配器更新的模型层或投影。
使用场景
根据模型架构、方法支持和测量的质量，选择它们。
应用示例
针对支持的查询和值投影，然后验证可训练参数的数量。方法和适配器
可训练参数
Trainable parameters
含义
优化允许更新的模型参数的子集。
使用场景
同时报告计数和百分比，以便可以比较完全运行和参数高效运行的结果。
应用示例
记录可训练参数、总参数、百分比以及适配器检查点大小。方法和适配器
适配器合并
Adapter merge
含义
将学习到的适配器更新组合到基本权重或另一个适配器表示中，以便部署。
使用场景
仅在进行兼容性、许可证、精度、质量和回滚检查后使用。
应用示例
在发布前，将合并的工件与未合并的基础配置 + 适配器配置进行比较。训练格式
提示-补全对
Prompt-completion pair
含义
一个包含输入提示和所需完成结果的训练示例。
使用场景
使用一致的模式，并确保补全演示出确切的目标行为。
应用示例
{"prompt":"Classify the request","completion":"billing_refund"}训练格式
指令-响应对
Instruction-response pair
含义
一个监督示例，将自然语言指令或对话与模型应学习生成的响应配对。
使用场景
用于 SFT，并保留每个示例的原始文件、权利、审查和质量元数据。
应用示例
{"messages":[{"role":"user","content":"배송 취소 방법을 알려줘"},{"role":"assistant","content":"주문 내역에서 취소할 주문을 선택하세요."}]}训练格式
聊天模板
Chat template
含义
一种格式化规则，将系统、用户、助手和工具消息转换为聊天模型期望的令牌序列。
使用场景
在训练和推理过程中，都应使用与所选基础模型兼容的tokenizer和模板。
应用示例
在数据集预处理和生产推理中，使用相同的批准的聊天模板。训练格式
系统、用户和助手角色
System, user, and assistant roles
含义
消息角色标签，用于区分对话训练数据中的持久指令、用户输入和模型响应。
使用场景
仅使用所选模型聊天模板支持的角色和排序方式。
应用示例
系统：策略和角色；用户：请求；助手：审查后的目标回复。训练格式
响应屏蔽
Response masking
含义
排除选定的输入 token 以免参与损失计算，以便训练专注于预期的响应 token。
使用场景
当目标是学习助手输出，而不要将每个提示令牌都视为目标时使用。
应用示例
遮罩系统和用户令牌，并在令牌化后验证助手边界。训练格式
序列打包
Sequence packing
含义
将多个较短的示例组合成更长的训练序列，以减少填充并提高利用率。
使用场景
仅当示例边界、注意力行为、标签和结束标记保持正确时使用。
应用示例
将短对话打包到上下文限制内，并测试一个示例是否会泄漏到下一个示例中。训练格式
微调上下文长度
Fine-tuning context length
含义
格式化和标记化后，每个训练序列使用的最大令牌长度。
使用场景
按照基础模型、目标任务、内存预算、截断风险和生产请求模式进行设置。
应用示例
测量令牌长度分布，并选择一个限制，以保留关键内容，同时避免过多的填充。训练格式
偏好数据集
Preference dataset
含义
一个数据集，记录了对替代模型输出的比较判断或奖励。
使用场景
用于奖励建模或偏好优化，并记录标注规则和审查员质量检查。
应用示例
存储提示、候选响应、偏好结果、推理策略、审查员组和同意状态。训练格式
已选择和拒绝的响应对
Chosen and rejected response pair
含义
两个候选响应，带有标签，以指示哪个响应更好地满足定义的偏好标准。
使用场景
使用有意义差异的配对，并应用一致的评估标准，而不是仅凭个人喜好。
应用示例
选定：引用提供的策略，并表示不确定性。 拒绝：编造不支持的截止日期。偏好对齐
人工反馈
Human feedback
含义
由人员提供的结构化判断、标签、演示或更正，用于指导模型行为。
使用场景
定义审查员的资格、说明、意见不一致的处理方式、隐私、补偿和质量保证。
应用示例
使用经过校准的评审员，并在训练之前解决高影响的争议。偏好对齐
基于人类反馈的强化学习 (RLHF)
Reinforcement learning from human feedback (RLHF)
含义
一系列训练后方法，使用人类偏好信号和强化学习技术来塑造模型行为。
使用场景
仅在使用清晰的奖励设计、稳定的训练设置、安全评估以及强大的数据治理时使用。
应用示例
训练并验证奖励信号，以保守的方式优化策略，并与 SFT 基线进行比较。偏好对齐
奖励模型
Reward model
含义
一个根据学习到的偏好或质量信号对候选输出进行评分的模型。
使用场景
在训练或选择过程需要记录偏好的可扩展近似值时使用。
应用示例
评估保留样本的奖励模型准确性、校准性、子组行为和可利用性。偏好对齐
偏好优化
Preference optimization
含义
训练后，使用比较偏好、奖励或相关反馈信号来更新模型行为。
使用场景
将其用作一个广泛的类别，包括直接偏好和强化学习方法。
应用示例
定义偏好标准、参考行为、优化方法和保留评估。偏好对齐
基于 AI 反馈的强化学习 (RLAIF)
Reinforcement learning from AI feedback (RLAIF)
含义
一系列强化学习方法，使用由 AI 系统产生的或辅助产生的反馈，而不是仅依赖直接的人类判断。
使用场景
仅在使用经过验证的反馈标准、人工监督、偏见检查以及防止自我强化错误的措施时使用。
应用示例
在策略优化之前，将 AI 反馈与专家人类判断的保留集进行校准。偏好对齐
强化微调
Reinforcement fine-tuning
含义
通过评分器、环境、规则或反馈模型产生的奖励信号来优化模型行为的微调。
使用场景
当结果可以可靠地进行评分，并且训练系统可以监控奖励欺骗、稳定性以及能力保留时使用。
应用示例
评分可验证的任务结果，进行保守优化，并与未更改的基线和 SFT 基线进行比较。偏好对齐
直接偏好优化 (DPO)
Direct preference optimization (DPO)
含义
一种偏好训练方法，它直接使用选定的和拒绝的响应来更新策略，以相对于参考行为。
使用场景
当有合适的偏好对和一个兼容的训练实现可用时使用。
应用示例
从经过批准的 SFT 检查点训练 DPO，并比较其有用性、安全性以及能力保留情况。偏好对齐
近端策略优化 (PPO)
Proximal policy optimization (PPO)
含义
一种策略优化算法，它在优化奖励信号的同时，限制更新的大小。
使用场景
在强化学习管道中使用，以支持奖励、价值、回滚和稳定性监控。
应用示例
在 PPO 过程中，跟踪奖励、与基准模型的偏差、响应长度和安全指标。偏好对齐
相对策略优化 (GRPO)
Group relative policy optimization (GRPO)
含义
一种强化学习方法，它比较相同提示的多个样本输出的奖励，以估计相对优势。
使用场景
仅当分组采样、奖励质量、训练稳定性以及计算成本与任务相符时使用。
应用示例
对每个问题选择多个解决方案，使用经过验证的检查进行评分，并根据组相对的奖励进行优化。评估和回归
微调验证损失
Fine-tuning validation loss
含义
损失值在未用于更新模型的验证示例中进行测量。
使用场景
结合任务、安全性和行为指标时，请使用它，因为仅降低损失不足以证明更好的生产行为。
应用示例
使用验证损失和固定的生产式评估套件选择候选检查点。评估和回归
验证评估
Holdout evaluation
含义
评估在故意排除在训练和模型选择反馈中的示例。
使用场景
用于获得对未见情况的性能的较不偏颇的估计，并保护该数据集免受重复的微调。
应用示例
仅在选择候选检查点后，才运行锁定的验证套件。评估和回归
检查点选择
Checkpoint selection
含义
根据预定义的质量、安全、成本和回归标准，选择应推进的已保存训练状态。
使用场景
使用固定的评估套件，避免仅根据训练损失进行选择。
应用示例
推广通过任务、安全、多语言、延迟和记忆门槛的检查点。评估和回归
基础模型比较
Base-model comparison
含义
一种受控的评估，用于比较经过微调的模型与未修改的基础模型。
使用场景
使用相同的提示、检索、解码和数据集，以便将更改归因于微调 (fine-tuning)。
应用示例
报告基础模型和调优后的模型的胜率、平局、回归、延迟和成本。评估和回归
灾难性遗忘
Catastrophic forgetting
含义
在对新数据或目标进行强烈训练后，失去先前学习的能力。
使用场景
在微调后，测试保留的通用能力、语言、安全行为以及超出领域任务。
应用示例
在微调之前和之后运行基准测试套件，并阻止材料上的回归。评估和回归
功能回退
Capability regression
含义
在微调或部署更改后，现有模型能力的一种可测量下降。
使用场景
在训练和发布之前，定义重要的任务的回归阈值。
应用示例
如果多语言提取的准确率低于批准的阈值，则发布失败。评估和回归
安全性回归
Safety regression
含义
在适应后，拒绝、隐私、公平性或有害内容行为的改善。
使用场景
对每个候选检查点运行有针对性的对抗性评估和策略评估。
应用示例
比较 jailbreak、PII 泄露、偏见和不安全补全率，与批准的基线进行比较。评估和回归
训练数据记忆
Training-data memorization
含义
模型保留并可能重现特定训练示例，超出期望的泛化范围。
使用场景
在发布前，测试是否存在异常短语的重现、秘密、个人数据以及接近逐字输出的情况。
应用示例
检查预留的前缀，如果模型生成敏感内容，则阻止发布。评估和回归
微调与 RAG 的比较
Fine-tuning versus RAG
含义
关于是否通过训练更改模型行为，或在请求时提供外部知识的设计决策。
使用场景
优先使用检索来获取当前或经常变化的知识，并使用微调来获得稳定的行为、格式或任务模式，然后根据需要评估组合方法。
注意
微调不会自动使经常变化的 facts 保持最新，也不会提供来源引用。
应用示例
使用 RAG 进行当前策略，使用 SFT 进行批准的响应结构。权利和操作
微调数据权限
Fine-tuning data rights
含义
使用数据进行模型适配所需的许可证、权限、合同条款和其他授权。
使用场景
验证源数据和示例级别的权限，并保留来源、限制和删除程序。
注意
拥有在线可用性、API 访问权限或文件本身并不能自动授予微调权限。
应用示例
记录来源、权利持有者、许可证或授权、允许的训练用途、区域、期限以及删除联系方式。权利和操作
微调中的个人数据
Personal data in fine-tuning
含义
适应数据中用于识别或可链接到个人的信息。
使用场景
在训练之前，最小化、删除、获取适当的授权、限制访问，并定义保留和删除策略。
应用示例
将姓名和账号标识符替换为受控的占位符，并验证转换后的数据集。权利和操作
模型注册表
Model registry
含义
一个受控的目录，包含模型、适配器、检查点、评估、批准和部署的元数据。
使用场景
使用它来跟踪已批准、已部署、已弃用或符合回滚条件的工件。
应用示例
注册模型摘要、基本版本、适配器、数据集、评估结果、所有者、批准状态以及部署阶段。权利和操作
适配器服务
Adapter serving
含义
使用可选择的任务或领域特定适配器，对一个基础模型进行推理。
使用场景
当运行时可以隔离适配器、授权选择、管理内存并保留版本兼容性时使用。
应用示例
将批准的财务请求路由到财务适配器，并记录确切的基础版本和适配器版本。权利和操作
微调提供商数据策略
Fine-tuning provider data policy
含义
服务提供商对上传的训练数据、保留、删除、模型访问、地理处理和二次使用的条款和控制。
使用场景
在上传任何数据集之前，请审查当前的合同和产品文档，并记录批准的配置。
注意
提供商的策略可能会发生变化；在每次材料训练计划之前重新检查，并且切勿假设 API 访问授予数据使用权限。
应用示例
验证保留期限、删除过程、训练使用设置、访问角色、区域、加密和事件程序。权利和操作
微调模型版本控制
Fine-tuned model versioning
含义
跟踪生成微调模型的精确基础模型、适配器或检查点、数据、代码和配置。
使用场景
使用不可变的标识符，以便评估、事件、回滚和审计都指向相同的资源。
应用示例
Version = base model digest + adapter digest + dataset hash + code commit + training config.权利和操作
微调回滚
Fine-tuning rollback
含义
在检测到问题后，将生产流量恢复到先前批准的模型或适配器。
使用场景
在发布之前准备好它，包括保留工件、兼容性检查、路由控制和决策权限。
应用示例
保持最后批准的基础 + 适配器组合可部署，并演练回滚路径。选择提示、RAG 或微调
从最简单的、可靠地满足要求的方案开始，然后根据需要评估组合方案。
| 您需要什么 | 首先考虑的方案 |
|---|---|
| 改进响应的格式或语气。 | 提示设计或 SFT (Supervised Fine-Tuning) |
| 从当前或私有文档中获取答案 | 具有基于来源的检索的 RAG |
| 了解可重复的任务行为。 | 使用代表性示例进行微调 |
| 适应广泛的行业语言和模式 | 持续预训练或领域微调 |
| 从首选和拒绝的回复中学习。 | DPO 或其他经过验证的偏好优化方法 |
SFT、DPO 和 GRPO 比较
这些方法需要不同的数据，并优化不同的信号；它们不是用于微调的可互换标签。
| 方法 | 典型数据和目标 |
|---|---|
| SFT | 指令-响应或带标签的示例；学习重现经过审查的目标行为。 |
| DPO | 已选择/拒绝的响应对；直接增加相对于参考行为的相对偏好。 |
| GRPO | 多个采样输出和验证奖励；从组相对优势中进行优化。 |
常见问题
预训练和微调有什么区别？
预训练在大型规模上学习广泛的模式，并生成一个基础模型。 微调从该模型开始，使用更窄的数据和目标，以适应任务、格式、领域、偏好或安全行为。
应该使用 RAG 还是微调来添加当前知识？
经常变化的或依赖于来源的知识通常适合 RAG，因为可以根据请求更新和引用文档。 微调通常更适合于稳定的行为、格式或任务模式。 一些系统将两者结合使用。
LoRA 和 QLoRA 有什么区别？
LoRA 在保持基础模型权重不变的情况下，训练低秩适配器更新。 QLoRA 还会以受支持的量化格式加载基础模型，以减少内存占用。 必须评估特定配置的质量和兼容性。
微调是否会自动添加当前的事实和引用？
否。即使经过调优的模型也可能过时，并且不一定会暴露生成声明的来源。当新鲜度和引用很重要时，请使用检索或其他经过验证的数据连接。
应该在什么情况下使用 SFT、DPO 或 GRPO？
使用 SFT 进行已审查的目标响应，使用 DPO 进行比较偏好对，以及使用 GRPO 进行具有多个样本输出的可靠奖励的任务。 仅在确认数据、目标、评估、安全性和计算要求后选择。
在将微调数据上传到提供商之前，必须检查哪些内容？
验证数据权利、同意、保密性、个人数据处理、服务条款、保留和删除、地理处理、模型访问控制、二级训练使用、加密、事件响应以及当前的合同。
官方参考资料
- Hugging Face Transformers — Fine-tuning
关于从预训练模型继续训练的官方指南，包括数据集、tokenization、训练参数、评估和 checkpoint。
- Hugging Face PEFT — LoRA
关于 LoRA 配置、秩、alpha、目标模块和参数高效适应的官方概念指南。
- Hugging Face TRL — Quickstart
关于事后训练方法的官方概述和示例，包括 SFT、奖励建模、DPO 和 GRPO。
相关术语指南
- AI 模型学习与训练术语
首先审查数据集、批次、周期、损失、优化、泛化能力、硬件和可重复性。
- AI 提示设计术语
检查在训练之前，是否可以使用指令、示例、模式或提示链来解决需求。
- RAG 与文档搜索术语
当答案需要当前的、私有的、基于源的知识时，请使用检索概念。
- AI 结果验证与评估术语
将微调模型评估连接到固定数据集、基准测试、人工审核、回归测试、延迟和成本。