訓練基礎 (Training foundations)
模型訓練
Model training
意思
調整模型參數的過程，使模型能夠執行目標行為或任務。
使用時機
使用該術語來表示整個優化過程，包括資料準備、訓練執行、驗證和檢查點選擇。
應用範例
在運行之前，定義訓練目標、批准的資料集、驗證計畫、計算預算和停止條件。生成式 AI 工程
AI 模型學習與訓練術語
了解訓練資料、目標、批次、Epoch、損失、梯度、優化器、學習率、驗證、過擬合、檢查點、分散式訓練和可重現性。
61 個術語
訓練基礎 (Training foundations)
預訓練
Pre-training
意思
一種大規模訓練方法，在模型適應更窄的任務或領域之前，先教導模型學習廣泛的模式。
使用時機
在區分基礎模型的建立與後續的微調或對齊時使用。
應用範例
在授權的多語言語料庫上預訓練基礎模型，然後評估語言覆蓋範圍。訓練基礎 (Training foundations)
基礎模型
Foundation model
意思
一個廣泛預訓練的模型，旨在支持許多下游任務和適應。
使用時機
在識別後續的提示、檢索、適應器或微調所依賴的通用模型時使用。
應用範例
記錄已批准的基礎模型系列、版本、授權以及預期的適應路徑。訓練基礎 (Training foundations)
基礎模型
Base model
意思
用作推理或額外適應的起始點的特定預訓練檢查點。
使用時機
使用確切的模型和版本標識符，以便可以重現訓練和部署。
應用範例
基礎模型：已批准的模型 ID 和不可變的版本摘要。訓練基礎 (Training foundations)
模型參數
Model parameter
意思
一個模型中的數值，可能在訓練期間學習，或由所選方法固定。
使用時機
在比較模型的總體、靜態和可訓練部分時使用。
應用範例
報告總參數數以及訓練方法更新的子集。訓練基礎 (Training foundations)
遷移學習
Transfer learning
意思
將為一個設定學習的知識作為另一個相關任務或領域的起點。
使用時機
在使用預訓練模型，而不是從隨機初始化開始訓練新模型時使用。
應用範例
從經過批准的語言模型開始，並將其適應意圖分類。訓練基礎 (Training foundations)
訓練目標 (Training objective)
Training objective
意思
训练运行尝试优化的数学或行为目标。
使用時機
在選擇資料、標籤、損失函數和評估指標之前，先定義它。
應用範例
目標：在已批准的領域語料庫中，預測下一個 Token，同時最小化驗證損失。訓練基礎 (Training foundations)
監督學習
Supervised learning
意思
從將輸入與預期標籤或輸出配對的範例進行訓練。
使用時機
在有可靠的目標答案、類別或值可用時使用。
應用範例
使用與審查後的意圖標籤配對的支援問題進行訓練。訓練基礎 (Training foundations)
自監督學習
Self-supervised learning
意思
訓練，它從未標記數據本身的結構中推導預測目標。
使用時機
適用於大規模表示或語言模型學習，當手動標記不切實際時。
應用範例
隱藏或移動每個序列的一部分，並訓練模型以預測缺失或後續的內容。訓練資料 (Training data)
訓練資料集 (Training dataset)
Training dataset
意思
用于计算梯度和更新模型参数的示例。
使用時機
從相關、已授權、具有代表性且經過質量控制的數據中構建。
注意
不要假設公開可訪問的資料自動被授權用於模型訓練。
應用範例
建立一個版本控制的訓練資料集，包含來源、授權、同意書、語言和品質元數據。訓練資料 (Training data)
驗證資料集
Validation dataset
意思
一個在開發期間使用的保留數據集，用於比較設置並監控泛化能力。
使用時機
適用於檢查點選擇、提前停止以及超參數決策，而無需從其範例中更新權重。
應用範例
評估每個 Epoch 的驗證損失，並保留最佳的已批准檢查點。訓練資料 (Training data)
測試資料集
Test dataset
意思
一個獨立保留的數據集，用於在開發選擇完成後進行最終、偏差較小的估計。
使用時機
僅在模型和超參數選擇完成後使用，以避免在最終測試階段進行調整。
應用範例
在實驗之前鎖定測試集，並在最終結果中報告其版本。訓練資料 (Training data)
訓練語料庫 (Training corpus)
Training corpus
意思
一個收集的文本、代碼、圖像、音頻或其他材料的集合，用於模型學習。
使用時機
在討論資料來源涵蓋範圍、來源、過濾和權利時，使用此術語，尤其是在處理大量資料時。
應用範例
文檔語料庫來源、收集日期、排除、權利基礎和移除程序。訓練資料 (Training data)
訓練樣本或範例 (Training sample or example)
Training sample or example
意思
一個單元被提供給訓練流程，例如標記的行、序列、圖像、對話或偏好對。
使用時機
在定義 schema、採樣權重、品質檢查以及哪些內容計入資料集大小時使用。
應用範例
一個範例包含輸入、目標、來源 ID、權限元數據和品質狀態。訓練資料 (Training data)
標籤
Label
意思
與監督學習範例相關聯的目標類別、值、範圍、回應或判斷。
使用時機
使用記錄的評分標準來定義標籤，並衡量審閱者對於模糊任務的意見一致性。
應用範例
為每個工單添加一個已批准的意圖標籤，並記錄不確定的情況以便審核。訓練資料 (Training data)
資料增強
Data augmentation
意思
通過應用受控的轉換來建立額外的訓練範例，這些轉換可以保留預期的標籤或行為。
使用時機
用於提高覆蓋率，同時驗證轉換是否保持真實，並且不會更改目標意義。
應用範例
建立重述變體，然後檢查每個變體是否保留了原始意圖標籤。訓練資料 (Training data)
資料污染
Data contamination
意思
訓練資料中存在評估範例或相似變體，導致評估過高地估計泛化能力。
使用時機
在訓練之前，檢查確切重疊和語義重疊，並隔離受保護的評估集。
應用範例
比較訓練和評估分割中的哈希值和近重疊嵌入。訓練資料 (Training data)
訓練分詞
Training tokenization
意思
将原始内容转换为模型输入单位和标识符，并在训练过程中使用。
使用時機
保持分詞器選擇、詞彙表、正規化和特殊符號與模型和服務管道相容。
應用範例
記錄分詞器版本、詞彙表大小、特殊符號、截斷方式以及最大序列長度。訓練資料 (Training data)
資料分割
Data split
意思
將範例分成訓練集、驗證集和測試集。
使用時機
根據使用者、時間、文件或群組進行分割，以防止隨機選擇的行可能在子集中洩漏相似的資料。
應用範例
按照客戶帳戶劃分，以便來自同一客戶的對話不會同時出現在訓練數據和測試數據中。訓練資料 (Training data)
資料去重
Data deduplication
意思
检测和删除或组合相同的和近似重复的训练示例。
使用時機
運用它來減少記憶、數據不平衡、浪費的計算資源和訓練-測試污染。
應用範例
在分割之前，先去除完全相同的哈希值、正規化的文字以及高度相似的文件片段。訓練資料 (Training data)
虛擬訓練數據
Synthetic training data
意思
範例是由軟體或模型生成的或轉換的，而不是直接從真實事件收集的。
使用時機
用於涵蓋罕見情況、格式或保護隱私的模擬，然後驗證真實性和偏見。
注意
虛擬數據可以重現原始數據中的偏差、錯誤或受保護的表達，但仍然需要進行來源追溯和質量檢查。
應用範例
生成邊緣案例對話，將其標記為合成數據，並在訓練之前進行審查。訓練資料 (Training data)
訓練用的機密資料
Confidential training data
意思
考慮用於訓練的客戶記錄、商業秘密、內部文件、憑證或其他受限制的資訊。
使用時機
除非有明確授權、已記錄的目的、嚴格的存取控制以及已批准的保留和刪除計畫，否則請預設排除它。
注意
切勿將憑證、客戶機密或商業機密放置在未經批准的授權和供應商政策審查的訓練服務中。
應用範例
在 ingest 期間，遮蔽敏感資訊和商業機密，並將不確定的記錄路由給授權的審閱人員。訓練資料 (Training data)
資料洩漏
Data leakage
意思
在訓練期間，未經意地使用資訊，但在預期的真實世界預測環境中將無法使用。
使用時機
檢查功能、標籤、時間戳和預處理，以防止不切實際的高評估分數。
應用範例
在訓練一個用於預測在接收時票證升級的模型之前，移除後續解析的欄位。訓練迴圈 (Training loop)
批次
Batch
意思
一組在一次前向和反向計算中處理的訓練示例。
使用時機
使用批次來平衡計算效率、記憶體使用量和梯度穩定性。
應用範例
使用填充序列和注意力遮罩組合每個批次。訓練迴圈 (Training loop)
微批次
Mini-batch
意思
一個訓練數據集的較小子集，用於一次計算一個梯度，而不是一次處理整個數據集。
使用時機
將其用作大型資料集中隨機優化的標準實用單位。
應用範例
重新排列訓練集，並構建具有相似序列長度的迷你批次。訓練迴圈 (Training loop)
批次大小
Batch size
意思
批次中包含的示例或序列的数量。
使用時機
根據序列長度、記憶體、優化行為和有效批次大小，調整它。
應用範例
從每個設備的批次大小為 4 開始，僅在記憶體要求時使用梯度累積。訓練迴圈 (Training loop)
訓練步驟 / 迭代
Training step / iteration
意思
一個優化器更新週期，可能消耗一個或多個微批次。
使用時機
適用於記錄、排程、儲存檢查點以及比較執行時間。
應用範例
記錄 training loss 以及 learning rate every 20 optimizer steps。訓練迴圈 (Training loop)
Epoch (訓練週期)
Epoch
意思
完整地遍歷一次訓練資料集，使用配置的採樣過程。
使用時機
使用 epoch 數量，並結合驗證曲線，而不是簡單地認為 epoch 越多越好。
應用範例
對於 1000 個範例和批次大小為 50，一個 epoch 大約包含 20 個批次。訓練迴圈 (Training loop)
前向傳播
Forward pass
意思
将模型输入通过网络进行计算，以生成预测值和损失值。
使用時機
在解釋每個訓練迭代的第一部分，在計算梯度之前時使用。
應用範例
對於 token ID 執行前向傳遞，並將預測的 token 與目標標籤進行比較。訓練迴圈 (Training loop)
損失函數
Loss function
意思
一個函數，用於測量模型預測與訓練目標之間的距離。
使用時機
根據任務、標籤格式、類別平衡和期望的行為，選擇相應的選項。
應用範例
獨立追蹤令牌級別的訓練損失和序列級別的任務指標。訓練迴圈 (Training loop)
反向傳播
Backpropagation
意思
將損失導數反向傳播到模型中，以計算梯度的過程。
使用時機
用於解釋錯誤訊號如何到達可訓練的參數。
應用範例
將縮放後的損失反向傳播，裁剪梯度，然後更新優化器。訓練迴圈 (Training loop)
梯度
Gradient
意思
一組導數，指示參數變更如何影響損失。
使用時機
監控梯度規範，以檢測不穩定性、梯度消失或梯度爆炸。
應用範例
當梯度範數在優化器步驟之前變得非有限值時，發出警報。訓練迴圈 (Training loop)
優化器
Optimizer
意思
一個使用梯度和配置狀態更新可訓練參數的算法。
使用時機
結合學習率、權重衰減和精度設定，一起選擇並配置它。
應用範例
使用 AdamW，並明確記錄學習率、權重衰減和優化器版本。訓練迴圈 (Training loop)
隨機梯度下降 (SGD)
Stochastic gradient descent (SGD)
意思
一種優化方法，它根據在單個示例或迷你批次上估算的梯度來更新參數。
使用時機
將其用作基礎的優化概念，並比較用於任務的動量或調度選擇。
應用範例
使用記錄的學習率、動量、調度器和批次配置執行 SGD。訓練迴圈 (Training loop)
AdamW
AdamW
意思
一個自適應優化器，它將權重衰減與基於梯度的參數更新解耦。
使用時機
在訓練配方支援的情況下，記錄所有優化器超參數以實現可重現性時使用。
應用範例
記錄 AdamW 的學習率、beta 值、epsilon 值、權重衰減以及實現版本。訓練迴圈 (Training loop)
學習率
Learning rate
意思
一個超參數，控制優化過程中參數更新的幅度。
使用時機
仔細調整它，因為過高的值可能會使訓練不穩定，而過低的值可能會阻礙進度。
注意
沒有通用的正確學習率；適當的值取決於模型、方法、資料、批次大小和優化器。
應用範例
使用相同的數據分割、seed 和評估排程，比較候選學習率。訓練迴圈 (Training loop)
學習率調度器
Learning-rate scheduler
意思
一個規則，用於在訓練步驟中更改學習率。
使用時機
運用它來在訓練期間，根據實驗計劃來進行預熱、衰減更新或對平台反應。
應用範例
先進行預熱，以計劃的步驟比例進行，然後使用餘弦衰減至最終速率。訓練迴圈 (Training loop)
預熱
Warmup
意思
一個初始階段，該階段逐漸提高學習率，從一個小值開始。
使用時機
運用它來減少在訓練開始時的不穩定更新，尤其是在大型模型優化中。
應用範例
將暖機步驟記錄為可重複訓練配置的一部分。泛化和質量
訓練損失 (Training loss)
Training loss
意思
損失值計算於用於更新模型參數的批次中。
使用時機
運用它來監控優化進度，但不要將低值視為泛化能力的證明。
應用範例
繪製經過平滑處理的訓練損失圖，以優化器步驟為單位，並調查突然的峰值或非有限值。泛化和質量
驗證損失
Validation loss
意思
損失值在未更新參數的情況下，針對保留的驗證範例進行測量。
使用時機
將其與訓練損失進行比較，以檢測過擬合並選擇候選檢查點。
應用範例
保持具有最佳已批准驗證行為的檢查點，不一定是最終的 epoch。泛化和質量
收斂
Convergence
意思
訓練更新產生越來越小的或更穩定的改進狀態。
使用時機
請根據訓練和驗證曲線以及任務指標來判斷，而不是僅根據訓練損失。
應用範例
只有在驗證指標在所有檢查點處穩定後，才將此執行視為已收斂。泛化和質量
泛化
Generalization
意思
訓練過的模型在相關範例上表現良好的能力，這些範例是在訓練時未使用的。
使用時機
在具有代表性的保留樣本和真實世界案例中測量它。
應用範例
比較在未見用戶、時間段、語言和困難邊緣案例中的效能。泛化和質量
過度擬合
Overfitting
意思
一種情況，模型在訓練數據上擬合良好，但在未見過的數據上表現不佳。
使用時機
觀察訓練和驗證行為之間的差距是否擴大，並使用資料、正則化或提前停止來應對。
應用範例
當驗證損失惡化，而訓練損失持續下降時停止。泛化和質量
欠擬合
Underfitting
意思
一種情況，模型無法學習足夠的結構，即使在訓練數據上也無法表現良好。
使用時機
檢查模型容量、功能或數據質量、優化設定和訓練時長。
應用範例
當訓練和驗證指標都仍然很差時，請調查是否存在欠擬合問題。泛化和質量
正則化
Regularization
意思
限制或塑造學習的技術，以減少過度擬合並提高對未見數據的行為。
使用時機
結合模型容量、資料量、增強和提前停止，選擇正則化方法。
應用範例
比較驗證行為與記錄的權重衰減和 dropout 設定。泛化和質量
權重衰減
Weight decay
意思
一個正則化設定，用於防止參數值在優化過程中過度增長。
使用時機
使用優化器調整它，並驗證哪些參數不參與衰減。
應用範例
記錄權重衰減以及其適用的參數組。泛化和質量
Dropout (隨機失活)
Dropout
意思
一種正則化技術，在訓練期間隨機禁用選定的激活。
使用時機
僅在架構和訓練方法支援的情況下使用，並在評估期間停用訓練行為。
應用範例
設定並記錄支援的 Dropout 速率，然後比較驗證效能。泛化和質量
梯度裁剪
Gradient clipping
意思
限制梯度幅度或範數，以防止優化器更新時出現不穩定的步驟。
使用時機
在可能出現梯度突變時，監控裁剪發生的頻率。
應用範例
將全局梯度範數限制在記錄的閾值以下，並記錄已裁剪的步驟。泛化和質量
Early stopping (提前停止)
Early stopping
意思
當監視的驗證指標不再根據定義的規則而改進時，停止訓練運行。
使用時機
使用耐心和最小改進閾值，以避免對單個雜訊評估做出反應。
應用範例
在進行三次驗證檢查且沒有顯著改進的情況下停止，並恢復最佳檢查點。泛化和質量
訓練檢查點 (Training checkpoint)
Training checkpoint
意思
儲存的訓練狀態，包含模型參數，通常還包含優化器、調度器和進度資訊。
使用時機
對於恢復、比較、評估和受控的推廣，請使用檢查點。
應用範例
使用資料集、程式碼、tokenizer 和配置標識符，儲存版本化的檢查點。計算與可重現性
AI 加速器 (GPU, TPU, NPU)
AI accelerator (GPU, TPU, NPU)
意思
專門的計算硬體，用於加速模型訓練和推理中的張量操作。
使用時機
根據框架支援、數值格式、記憶體、互連、可用性和成本，選擇硬體。
應用範例
記錄加速器類型、數量、內存、運行時、驅動程序以及預估的訓練成本。計算與可重現性
影片記憶體 (VRAM)
Video memory (VRAM)
意思
用於模型權重、優化器狀態、激活、梯度和批次的加速器上的記憶體。
使用時機
在訓練之前估算它，並在必要時調整批次大小、精度、分片或檢查點。
應用範例
測量最長支援序列所需的 VRAM 峰值，以及有效的批次配置。計算與可重現性
FP16 和 BF16。
FP16 and BF16
意思
降低精度數值格式通常用於降低訓練所需的記憶體，並提高加速器的吞吐量。
使用時機
僅使用硬體和框架支援的格式，並進行有限值和品質檢查。
應用範例
比較 BF16 或 FP16 訓練的穩定性和輸出品質，與批准的基準線進行比較。計算與可重現性
梯度累積
Gradient accumulation
意思
在一個優化器更新之前，將來自多個微批次的梯度結合。
使用時機
運用它來在設備內存受限時，達到更大的有效批次大小。
應用範例
有效批次大小 = 每设备批次 × 累积步骤 × 数据并行设备的数量。計算與可重現性
混合精度訓練
Mixed-precision training
意思
訓練，它使用多種數值精度來提高速度或記憶體效率，同時保持必要的穩定性。
使用時機
使用支援的 FP16 或 BF16 工作流程，並進行損失和有限值監控。
應用範例
在兼容的硬件上啟用 BF16，並驗證其與基準運行相比的損失一致性。計算與可重現性
梯度檢查點
Gradient checkpointing
意思
一種節省內存的技術，在反向傳播過程中重新計算選定的激活值，而不是存儲所有激活值。
使用時機
在記憶體是瓶頸且額外的計算是可以接受時使用。
應用範例
啟用梯度檢查點，以適應更長的序列，然後測量訓練速度的下降。計算與可重現性
分布式訓練
Distributed training
意思
訓練，它協調多個加速器或機器上的計算或模型狀態。
使用時機
在一個設備無法滿足模型大小或訓練時間要求時使用。
應用範例
記錄數據並行策略、世界大小、分片策略、網絡設置和恢復程序。計算與可重現性
資料並行
Data parallelism
意思
將模型複製到處理不同資料批次的節點上，並同步更新。
使用時機
在模型可以放入每個工作節點，並且需要更多的批處理吞吐量時使用。
應用範例
記錄工作者數量、全局批次大小、梯度同步以及錯誤恢復行為。計算與可重現性
模型並行
Model parallelism
意思
將模型計算或參數分散到多個設備上，因為單個設備無法有效地處理整個模型。
使用時機
根據架構和框架的支援，使用張量、管道或分片方法。
應用範例
记录分区策略、通信成本、检查点格式以及兼容性。計算與可重現性
隨機種子。
Random seed
意思
一個用於初始化偽隨機操作的值，例如洗牌、採樣、dropout 和參數初始化。
使用時機
記錄它，以便可以重複，同時認識到分佈式硬件和某些內核可能仍然是不可確定的。
應用範例
比較多個記錄的 seed 的重要結果，而不是依賴一次有利的運行。計算與可重現性
訓練可重現性 (Training reproducibility)
Training reproducibility
意思
重複執行以獲得相似結果的能力，以便解釋和比較其結果。
使用時機
版本資料、程式碼、模型、tokenizer、依賴項、seed、配置和硬體詳細資訊。
應用範例
儲存包含提交 ID、資料集哈希、種子、套件鎖定和檢查點 URI 的運行資訊清單。批次、微批次、步驟和 epoch
這些單位描述訓練過程的不同部分，不應互相替換。
| 術語 | 意義 |
|---|---|
| 批次 | 一組在一次前向/反向計算中處理的數據。 |
| 微批次 | 一個較小的子集，用來代替整個資料集。 |
| 訓練步驟 (Training step) | 一次優化器更新，可能是在經過幾個累積的微批次後。 |
| Epoch (訓練週期) | 遍歷一次訓練集；1,000 個範例，批次大小為 50，大約是每個 epoch 20 個批次。 |
常見問題
為什麼訓練、驗證和測試資料必須分開？
訓練資料更新參數，驗證資料引導開發決策，測試資料估計最終性能。 將相同的或近似重複的範例混合在它們之間可能會誇大結果並隱藏較差的泛化能力。
批量大小、訓練步驟和 epoch 之間的關係是什麼？
一個 epoch 處理整個訓練集一次。 如果不使用梯度累積，則近似的每個 epoch 的批次數量是數據集大小除以批次大小。 具有累積和多個工作進程時，區分每個設備、有效和全局批次大小。
當訓練損失下降但驗證損失上升時，意味著什麼？
這是常見的過擬合現象。請檢查資料的重疊和品質，然後考慮提前停止、正則化、資料增強、模型容量，以及使用多個任務指標，而不是單一的損失曲線。
訓練模型是否總是需要 GPU？
否。小型模型和實驗可以在 CPU 上運行，而較大的神經網絡模型通常可以從 GPU、TPU 或 NPU 中受益。選擇取決於框架支援、模型大小、序列長度、時間和預算。
是否可以使用公開可訪問的數據進行訓練？
僅僅具有公共可訪問性不足以確立訓練權。請檢查版權、授權、合同、隱私、同意、保密、收集規則以及服務提供商的條款，並保留來源信息和移除程序。
官方參考資料
- Google Machine Learning Glossary
關於訓練、驗證、測試集、批次、epoch、損失、過擬合和其他機器學習基本概念的官方詞彙表。
- Hugging Face Transformers — Fine-tuning
顯示 tokenization、訓練參數、數據集、epoch、批次大小、學習率、評估和檢查點的官方指南。
- Hugging Face Transformers — Trainer
關於涵蓋批處理、前向傳遞、損失、反向傳播、梯度和參數更新的訓練迴圈的官方描述。
相關術語指南
- 生成式 AI 與 LLM 基礎術語
審查模型權重、基礎模型、推理、令牌和上下文視窗。
- AI 結果驗證與評估術語
將訓練工作與評估資料集、基準測試、評分標準、迴歸測試和運營指標聯繫起來。
- AI 微調與對齊術語
從一般的訓練概念開始，進而學習 SFT、LoRA、偏好優化、評估和部署。