微調概述
微調
Fine-tuning
意思
從預訓練模型開始，繼續訓練以使其行為適應更窄的任務、領域、格式或偏好。
使用時機
在僅僅使用提示和檢索無法提供足夠一致的學習行為時使用。
應用範例
使用經過審查的支援回應對批准的基本模型進行微調，然後將其與未更改的基準線進行比較。生成式 AI 工程
AI 微調與對齊術語
學習微調、持續預訓練、指令調整、SFT、PEFT、LoRA、QLoRA、偏好數據、RLHF、DPO、GRPO、回歸評估、數據權利、隱私、版本控制和回滾。
54 個術語
微調概述
下游任務
Downstream task
意思
使用預訓練模型執行的一項特定的應用程序任務。
使用時機
在收集微調資料和選擇指標之前，先精確定義它。
應用範例
下游任務：將韓國客戶請求分類到批准的路由分類中。微調概述
領域適應
Domain adaptation
意思
將模型調整為語言、模式或分佈，這些語言、模式或分佈存在於特定的領域或環境中。
使用時機
在目標領域與模型的通用訓練分佈顯著不同時使用。
應用範例
將模型調整為授權的半導體維護文件，並在未見過的文檔上進行評估。微調概述
繼續預訓練
Continued pre-training
意思
在執行特定任務的微調之前，對基礎模型使用額外的未標記或自監督的領域數據進行預訓練。
使用時機
適用於廣泛領域的語言適應，當少量指令範例不足時。
應用範例
在授權領域的語料庫上進行預訓練，然後運行監督式指令微調。微調概述
指令微調
Instruction tuning
意思
微調指令和期望的回應，以便模型更可靠地執行多種自然語言任務。
使用時機
使用多樣化、經過審查的說明，以反映目標用戶、任務、語言和安全限制。
應用範例
使用涵蓋摘要、提取、拒絕和澄清的指令-回應範例進行訓練。微調概述
訓練後
Post-training
意思
廣泛的預訓練後進行的訓練，以提高任務遵循、偏好、安全性或部署行為。
使用時機
將其用作監督式微調、偏好優化、獎勵建模以及相關對齊工作的總稱。
應用範例
記錄每個訓練後階段，包括其資料、目標、檢查點和評估門戶。微調概述
監督微調 (SFT)
Supervised fine-tuning (SFT)
意思
微調從輸入中學習，這些輸入與審查過的目標回應或標籤配對。
使用時機
運用它來教導回應格式、任務程序、語氣以及期望行為的範例。
應用範例
SFT 範例：使用者請求、已批准的助理回應、元數據和數據權利記錄。微調概述
模型對齊
Model alignment
意思
努力使模型行为更好地遵循定义的、人类的意图、策略、偏好和安全要求。
使用時機
將其用作指令微調、偏好優化、安全訓練和行為評估背後的總體目標。
應用範例
定義對齊目標、不可接受的行為、評估案例和人工審核機制。微調概述
行為適應
Behavior adaptation
意思
變更模型的回應方式、輸出格式、遵循的程序或處理不確定性的方式，但不假設它會獲得當前的 фактические знания (事實性知識)。
使用時機
在希望的更改涉及穩定的響應模式，而不是頻繁變化的資訊時使用。
應用範例
將模型調整為在需要時請求澄清，當缺少所需的帳戶證據時。方法和適配器
完全微調
Full fine-tuning
意思
微調更新基本模型的全部或大部分參數。
使用時機
僅當預期的效益能夠合理地彌補大量的記憶體、計算、儲存和評估成本時才使用。
應用範例
比較完整的微調與 PEFT 基準線，使用相同的數據和評估集。方法和適配器
參數高效微調 (PEFT)
Parameter-efficient fine-tuning (PEFT)
意思
一系列方法，在訓練過程中，適應模型，同時只訓練一小部分參數。
使用時機
運用它來減少訓練內存、存儲空間和每個任務的檢查點大小。
應用範例
對每個批准的領域，訓練一個獨立的 PEFT 適應器，同時保持基礎權重不變。方法和適配器
适配器
Adapter
意思
一組小的額外參數或修改參數，附加到基礎模型，用於特定的適應。
使用時機
使用 adapters 來分離與特定任務相關的變更，與共享的基礎權重。
應用範例
僅為授權的財務工作流程載入財務適應器。方法和適配器
低秩適應 (LoRA)
Low-rank adaptation (LoRA)
意思
一種 PEFT 方法，在保持基本權重不變的情況下，學習用於選定模型模塊的低秩更新矩陣。
使用時機
在較小的可訓練狀態和可重用的適應器適合部署設計時使用。
應用範例
將 LoRA 應用於選定的注意力投影，並記錄秩、alpha、dropout 和目標模組。方法和適配器
QLoRA
QLoRA
意思
一種微調方法，在基於量化的表示形式中加載基礎模型時，訓練 LoRA 適配器。
使用時機
運用它來減少基礎模型的內存，同時驗證數值穩定性和品質，並與合適的基準進行比較。
應用範例
載入經過批准的基礎模型，並以支援的量化格式進行訓練，僅訓練 LoRA 適應器。方法和適配器
量化。
Quantization
意思
使用低精度格式表示模型值，以減少記憶體、儲存或計算需求。
使用時機
在支援的方法和硬體可以保持可接受的品質和數值行為時使用。
應用範例
在 QLoRA 和記錄格式、位寬、函式庫和計算資料類型之前，評估量化的基本模型。方法和適配器
LoRA rank
LoRA rank
意思
LoRA 适配器使用的低秩更新矩阵的维度。
使用時機
將其視為容量和資源之間的權衡，而不是假設較大的秩總是更好。
應用範例
比較 rank 8 和 rank 16，使用相同的 seed、數據、步驟和評估套件。方法和適配器
LoRA alpha
LoRA alpha
意思
一個縮放配置，影響學習的 LoRA 更新的貢獻。
使用時機
記錄其等級和實現細節，因為解讀可能取決於使用的函式庫。
應用範例
在適應器資訊清單中儲存排名、alpha、dropout、目標模組和函式庫版本。方法和適配器
目標模組
Target modules
意思
选定的模型层或投影，以接收适配器更新。
使用時機
根據模型架構、方法支援和測量的品質，選擇相應的選項。
應用範例
針對支援的查詢和值投影，然後驗證可訓練參數的數量。方法和適配器
可訓練參數 (Trainable parameters)
Trainable parameters
意思
允許優化更新的模型參數子集。
使用時機
報告計數和百分比，以便可以比較完全運行和參數效率高的運行。
應用範例
記錄 trainable parameters、total parameters、percentage 以及 adapter checkpoint size。方法和適配器
适配器合并
Adapter merge
意思
將學習到的適應器更新結合到基礎權重或另一種適應器表示形式中，以便部署。
使用時機
僅在經過相容性、授權、精度、品質和回滾檢查後使用。
應用範例
在發布之前，將合併的工件與未合併的基本配置加上適配器進行比較。訓練格式 (Training formats)
提示-完成對
Prompt-completion pair
意思
一個包含輸入提示和所需完成的訓練範例。
使用時機
使用一致的結構，並確保完成結果展現確切的目標行為。
應用範例
{"prompt":"Classify the request","completion":"billing_refund"}訓練格式 (Training formats)
指令-回應對
Instruction-response pair
意思
一個監督學習範例，將自然語言指令或對話與模型應該學習生成的檢視回應配對。
使用時機
用於 SFT，並在每個範例旁邊保留原始碼、權利、審查和質量元數據。
應用範例
{"messages":[{"role":"user","content":"배송 취소 방법을 알려줘"},{"role":"assistant","content":"주문 내역에서 취소할 주문을 선택하세요."}]}訓練格式 (Training formats)
對話模板
Chat template
意思
一個格式化規則，將系統、用戶、助手和工具消息轉換為聊天模型期望的令牌序列。
使用時機
在訓練和推理期間，同時使用與所選基礎模型相容的tokenizer和模板。
應用範例
在資料集預處理和生產推理中，渲染相同的已批准聊天範本。訓練格式 (Training formats)
系統、使用者和助理角色
System, user, and assistant roles
意思
訊息角色標籤，用於區分對話訓練資料中的持久指令、使用者輸入和模型回應。
使用時機
僅使用所選模型聊天範本支援的角色和排序方式。
應用範例
系統：政策和角色；使用者：請求；助理：審查後的目標回應。訓練格式 (Training formats)
回應遮罩
Response masking
意思
排除選定的輸入 Token，使其不參與損失計算，以便訓練專注於預期的回應 Token。
使用時機
在目標是學習助理輸出，而不要將每個提示符號視為目標時使用。
應用範例
遮罩系統和使用者令牌，並在令牌化後驗證助理的界限。訓練格式 (Training formats)
序列打包
Sequence packing
意思
將多個較短的範例結合為更長的訓練序列，以減少填充並提高利用率。
使用時機
僅當範例邊界、注意力行為、標籤和結束符號保持正確時才使用。
應用範例
將短對話壓縮到上下文限制內，並測試一個範例是否會洩漏到下一個範例中。訓練格式 (Training formats)
微調上下文長度
Fine-tuning context length
意思
格式化和标记后，每个训练序列使用的最大令牌长度。
使用時機
根據基礎模型、目標任務、記憶體預算、截斷風險和生產請求模式來設定它。
應用範例
測量令牌長度分佈，並選擇一個限制，以保留關鍵內容，同時避免過多的填充。訓練格式 (Training formats)
偏好數據集
Preference dataset
意思
一個數據集，記錄了對替代模型輸出的比較判斷或獎勵。
使用時機
適用於獎勵建模或偏好優化，以及記錄的標記規則和審閱者品質檢查。
應用範例
儲存提示、候選回應、偏好結果、理由策略、審閱員群組和同意狀態。訓練格式 (Training formats)
選擇和拒絕的回應對
Chosen and rejected response pair
意思
兩個候選回應，標記以指示哪個回應更好地滿足定義的偏好標準。
使用時機
使用有意義差異的配對，並應用一致的評分標準，而不是僅僅基於個人喜好。
應用範例
採用：引用提供的政策，並表示不確定性。 拒絕：編造未經支援的截止日期。偏好對齊
人工回饋
Human feedback
意思
由人類提供的結構化判斷、標籤、示範或更正，用於引導模型行為。
使用時機
定義審閱者的資格、說明、意見不一致的處理方式、隱私、薪酬和品質保證。
應用範例
使用經過校準的審閱者，並在訓練之前解決高影響度的意見分歧。偏好對齊
從人類反饋中學習的強化學習 (RLHF)
Reinforcement learning from human feedback (RLHF)
意思
一系列訓練後的方法，使用人類偏好信號和強化學習技術來塑造模型行為。
使用時機
僅在使用清晰的獎勵設計、穩定的訓練配置、安全評估和強大的數據治理的情況下使用。
應用範例
訓練並驗證一個獎勵信號，以保守的方式優化策略，並與 SFT 基準進行比較。偏好對齊
獎勵模型
Reward model
意思
一個根據學習到的偏好或質量信號對候選輸出進行評分的模型。
使用時機
在訓練或選擇過程中需要可擴展的、對記錄偏好的近似值時使用。
應用範例
評估保留樣本的獎勵模型準確性、校準性、子組行為和可利用性。偏好對齊
偏好優化
Preference optimization
意思
訓練後，使用比較偏好、獎勵或相關的反饋信號來更新模型行為。
使用時機
將其用作一個廣泛的類別，包括直接偏好和強化學習方法。
應用範例
定義偏好評分標準、參考行為、優化方法和保留評估。偏好對齊
從 AI 反饋中學習的強化學習 (RLAIF)
Reinforcement learning from AI feedback (RLAIF)
意思
一系列強化學習方法，使用由 AI 系統產生的反饋，而不是僅依賴直接的人類判斷。
使用時機
僅在使用經過驗證的反饋標準、人工監督、偏見檢查以及防止自我強化錯誤的措施的情況下使用。
應用範例
在策略優化之前，將 AI 反饋與專家人類判斷的保留集進行校準。偏好對齊
強化微調
Reinforcement fine-tuning
意思
微調優化模型行為，從評分員、環境、規則或反饋模型產生的獎勵信號。
使用時機
在結果可以可靠地評分，並且訓練系統可以監控獎勵欺騙、穩定性和能力保留時使用。
應用範例
評分可驗證的任務結果，謹慎優化，並與未更改的基準和 SFT 基準進行比較。偏好對齊
直接偏好優化 (DPO)
Direct preference optimization (DPO)
意思
一種偏好訓練方法，它直接使用選擇和拒絕的回應來更新與參考行為相對應的策略。
使用時機
在有合適的偏好對和相容的訓練實現可用時使用。
應用範例
從批准的 SFT 檢查點訓練 DPO，並比較其在幫助性、安全性方面的表現以及能力保留程度。偏好對齊
近端策略優化 (PPO)。
Proximal policy optimization (PPO)
意思
一種策略優化演算法，它在優化獎勵信號的同時，限制更新的大小。
使用時機
在強化學習管道中使用，以支援獎勵、價值、回滾和穩定性監控。
應用範例
在 PPO 過程中，追蹤獎勵、與參考模型的偏差、回應長度和安全指標。偏好對齊
基於相對策略優化的方法 (Group Relative Policy Optimization, GRPO)
Group relative policy optimization (GRPO)
意思
一種強化學習方法，它比較相同提示的多次樣本輸出的獎勵，以估計相對優勢。
使用時機
僅當群組採樣、獎勵品質、訓練穩定性和計算成本符合任務要求時才使用。
應用範例
對每個問題，採樣多個解決方案，使用驗證的檢查對其進行評分，並從群組相對的獎勵中進行優化。評估與回歸
微調驗證損失
Fine-tuning validation loss
意思
損失值在未更新模型的情況下，針對保留的微調範例進行測量。
使用時機
配合任務、安全性和行為指標使用，因為僅降低損失不足以證明生產行為的改善。
應用範例
使用驗證損失和固定的生產風格評估套件，選擇候選檢查點。評估與回歸
預留樣本評估
Holdout evaluation
意思
評估在故意排除在訓練和模型選擇回饋中的範例。
使用時機
用於獲得在未見情況下的效能的較不偏見的估計值，並保護該集合免受重複的微調。
應用範例
僅在選擇候選檢查點後，才執行鎖定後的測試套件。評估與回歸
檢查點選擇
Checkpoint selection
意思
根據預定義的品質、安全、成本和回歸標準，選擇應該進展的已保存訓練狀態。
使用時機
使用固定的評估套件，避免僅根據訓練損失進行選擇。
應用範例
提升通過任務、安全、多語言、延遲和記憶門戶的檢查點。評估與回歸
基礎模型比較
Base-model comparison
意思
一個受控的評估，將微調的模型與未修改的基礎模型進行比較。
使用時機
使用相同的提示、檢索方式、解碼方式和資料集，以便將更改歸因於微調 (fine-tuning)。
應用範例
報告基礎模型和調整後模型的勝率、平局、回歸、延遲和成本。評估與回歸
災難性遺忘
Catastrophic forgetting
意思
在強烈訓練新的數據或目標後，失去先前學到的能力。
使用時機
在微調後，測試保留的通用功能、語言、安全行為以及超出範圍的任務。
應用範例
在微調之前和之後，執行基準能力測試，並防止重大回退。評估與回歸
功能回歸
Capability regression
意思
在微調或部署更改後，現有模型能力的一種可測量的下降。
使用時機
在訓練和發布之前，定義重要的任務的回歸閾值。
應用範例
如果多語言提取的準確度降 ниже 批准的閾值，則發布失敗。評估與回歸
安全性回退
Safety regression
意思
在適應後，拒絕、隱私、公平性或有害內容行為的下降。
使用時機
對每個候選檢查點，執行針對性的對抗性評估和策略評估。
應用範例
比較越獄、PII 漏洞披露、偏差以及不安全完成的發生率，與經過批准的基準線。評估與回歸
訓練數據記憶
Training-data memorization
意思
模型保留和可能重現特定訓練示例，超出期望的泛化範圍。
使用時機
在發布之前，測試異常短語的重現、密碼、個人資料以及接近原文的輸出。
應用範例
檢查模型是否會重現敏感內容，如果模型重現敏感內容，則阻止發布。評估與回歸
微調與 RAG 的比較
Fine-tuning versus RAG
意思
一個設計決策，是在通過訓練改變模型行為，還是在使用時提供外部知識。
使用時機
對於當前或頻繁變化的事實，優先使用檢索；對於穩定行為、格式或任務模式，優先使用微調；然後，如果需要，評估一種綜合方法。
注意
微調不會自動使頻繁變化的事實保持最新，也不會提供來源引用。
應用範例
對於目前的策略，請使用 RAG；對於已批准的回應結構，請使用 SFT。權利與操作
微調資料權限
Fine-tuning data rights
意思
使用数据进行模型适配所需的许可证、权限、合同条款和其他授权。
使用時機
驗證來源和示例級別的權利，並保留來源、限制和刪除程序。
注意
僅僅擁有線上可用性、API 訪問權限或文件本身，並不自動授予微調權限。
應用範例
記錄來源、權利持有人、授權或許可證、允許的訓練用途、適用地區、期限以及刪除聯絡方式。權利與操作
微調中的個人資料
Personal data in fine-tuning
意思
包含可識別或可追溯到個人的自適應數據。
使用時機
在訓練之前，最小化、匿名化、取得適當授權、限制存取，並定義保留和刪除策略。
應用範例
將姓名和帳戶識別碼替換為受控佔位符，並驗證轉換後的資料集。權利與操作
模型註冊表
Model registry
意思
一個受控的目錄，包含模型、適配器、檢查點、評估、批准和部署的元數據。
使用時機
運用它來追蹤哪些構件已批准、部署、已過時或符合回滾資格。
應用範例
註冊模型摘要、基礎版本、適配器、資料集、評估、所有者、批准以及部署階段。權利與操作
适配器服务
Adapter serving
意思
使用可選的特定任務或領域的適配器，在推理時為一個基礎模型提供服務。
使用時機
在運行時可以隔離適應器、授權選擇、管理記憶體和保留版本相容性時使用。
應用範例
將批准的財務請求路由到財務適配器，並記錄確切的基礎版本 + 適配器版本。權利與操作
微調提供商資料策略
Fine-tuning provider data policy
意思
服務提供商關於上傳的訓練數據、保留、刪除、模型訪問、地理處理和二次使用的條款和控制。
使用時機
在上傳任何資料集之前，審查當前合約和產品文件，並記錄批准的配置。
注意
服務提供商的政策可能會發生變化；在每次材料訓練課程之前重新檢查，並且切勿假設 API 訪問授權授予數據使用權。
應用範例
驗證保留期限、刪除過程、訓練使用設定、訪問角色、區域、加密和事件程序。權利與操作
微調模型版本控制
Fine-tuned model versioning
意思
追蹤產生調整後模型的確切基礎模型、適應器或檢查點、資料、程式碼和配置。
使用時機
使用不可變的識別碼，以便評估、事件、回滾和審計都指向相同的資源。
應用範例
Version = base model digest + adapter digest + dataset hash + code commit + training config.權利與操作
微調回滾
Fine-tuning rollback
意思
在檢測到問題後，將生產流量恢復到先前已批准的模型或適配器。
使用時機
在發布之前，準備好它，包括保留工件、兼容性檢查、路由控制和決策權限。
應用範例
保持最後一個已批准的基本配置 + 适配器組合可部署，並演練回滾路徑。選擇提示、RAG 或微調
從最簡單的方法開始，該方法可靠地滿足要求，然後在必要時評估組合。
| 您需要什麼 | 應首先考慮的方法 |
|---|---|
| 改善響應的格式或語氣。 | 提示設計或 SFT (Supervised Fine-Tuning) |
| 從當前或私有文件中提取答案 | 帶有基於來源的檢索的 RAG。 |
| 學習可重複的任務行為。 | 使用代表性範例進行微調 |
| 調整以適應廣泛的行業語言和模式 | 繼續預訓練或領域微調 |
| 從首選和拒絕的回應中學習。 | DPO 或其他經過驗證的偏好優化方法 |
SFT、DPO 和 GRPO 比較
这些方法需要不同的数据，并优化不同的信号；它们不是用于微调的互换标签。
| 方法 | 典型數據和目標 |
|---|---|
| SFT | 指令-回應或標記示例；學習重現經過審查的目標行為。 |
| DPO | 選擇/拒絕的回應對；直接增加對比基準行為的相對偏好。 |
| GRPO | 採用多個樣本輸出並驗證獎勵；從群組相對優勢中進行優化。 |
常見問題
預訓練和微調有什麼區別？
預訓練在大型規模上學習廣泛的模式，並產生一個基礎模型。 微調從該模型開始，使用更窄的數據和目標，以適應任務、格式、領域、偏好或安全行為。
是否應該使用 RAG 或微調來新增現有知識？
頻繁變化的或對來源敏感的知識通常適合 RAG，因為可以根據要求更新和引用文檔。 微調通常更適合於穩定的行為、格式或任務模式。 某些系統將兩者結合。
LoRA 和 QLoRA 有什麼不同？
LoRA 在保持基礎權重不變的情況下，訓練低秩的適應器更新。 QLoRA 額外地以支援的量化格式載入基礎模型，以減少記憶體使用量。 必須針對確切的配置進行品質和相容性評估。
微调是否会自动添加当前的事实和引用？
否。即使經過調整的模型仍然可能過時，並且不會直接顯示生成聲明的來源。當需要時效性和引用時，請使用檢索或其他經過驗證的數據連接。
何時應該使用 SFT、DPO 或 GRPO？
對於經過審查的目標回應，請使用 SFT；對於比較偏好對，請使用 DPO；對於具有多個樣本輸出且具有可靠獎勵的任務，請使用 GRPO。僅在確認資料、目標、評估、安全性和計算資源需求後再選擇。
在將微調資料上傳到服務提供商之前，必須檢查哪些內容？
驗證資料權利、同意、保密性、個人資料處理、服務條款、保留和刪除、地理處理、模型訪問控制、次要訓練使用、加密、事件響應以及當前合同。
官方參考資料
- Hugging Face Transformers — Fine-tuning
關於從預訓練模型繼續訓練的官方指南，包括數據集、tokenization、訓練參數、評估和檢查點。
- Hugging Face PEFT — LoRA
關於 LoRA 配置、秩、alpha、目標模塊和參數高效適應的官方概念指南。
- Hugging Face TRL — Quickstart
關於後訓練方法的官方概述和示例，包括 SFT、獎勵模型、DPO 和 GRPO。
相關術語指南
- AI 模型學習與訓練術語
首先審查資料集、批次、週期、損失、優化、泛化能力、硬體和可重現性。
- AI 提示設計術語
檢查在訓練之前，是否可以使用指令、範例、模式或提示鏈接來解決需求。
- RAG 與文件搜尋術語
當答案需要當前的、私有的、基於原始資料的知識時，請使用檢索概念。
- AI 結果驗證與評估術語
將調整後的模型評估與固定資料集、基準測試、人工審查、迴歸測試、延遲和成本聯繫起來。