模型
生成式 AI
Generative AI
意思
AI 能夠從學習的模式中創建新的文本、圖像、音頻、代碼或其他內容。
使用時機
在區分內容生成系統和分類或預測系統時，使用此術語。
應用範例
使用生成式 AI 撰寫三個產品描述，然後檢查其事實準確性。生成式 AI 工程
生成式 AI 與 LLM 基礎術語
了解在與生成式 AI 和大型語言模型工作時使用的模型、輸入、上下文、生成和操作術語。
12 個術語
模型
基礎模型
Foundation model
意思
一個廣泛訓練的模型，可以適應許多下游任務。
使用時機
在討論聊天機器人、代理或專用應用程式背後的基礎模型時使用。
應用範例
選擇一個基礎模型，然後新增用於客戶支援的檢索和特定任務的指令。模型
大型語言模型 (LLM)
Large language model (LLM)
意思
一個在大型文本集合上訓練的模型，用於理解和生成語言序列。
使用時機
適用於文字生成、摘要、提取、翻譯和對話任務。
應用範例
請求 LLM 將會議記錄摘要為決策、負責人和截止日期。模型
多模態模型
Multimodal model
意思
一個可以處理或生成多種類型數據的模型，例如文本和圖像。
使用時機
在任務結合螢幕截圖、文件、音訊、影片或文字時使用。
應用範例
提供一張圖形圖像，並要求多模態模型解釋圖中可見的趨勢。輸入和上下文
令牌 (Token)
Token
意思
一個語言模型處理的文本單位；它可能是單詞、單詞的一部分或標點符號。
使用時機
使用token數量來估算上下文容量、延遲和使用成本。
應用範例
當輸入接近模型的token限制時，修剪重複的指令。輸入和上下文
上下文視窗
Context window
意思
模型在一次请求中可以考虑的最大输入和生成输出量。
使用時機
用於決定是否應總結、分塊或選擇性地檢索文件。
注意
較大的上下文窗口並不保證包含的所有細節都會被正確使用。
應用範例
檢索最相關的五個段落，而不是將整個檔案放入上下文視窗中。輸入和上下文
系統指令
System instruction
意思
一個高優先級的指令，用於定義模型的角色、規則和響應行為。
使用時機
運用它來設定許多用戶請求共享的持久行為。
應用範例
您是支援助理。 引用提供的政策，並說明在何時缺少證據。操作
模型權重
Model weights
意思
學習到的數值，用於編碼在訓練期間獲得的模式。
使用時機
當比較基礎模型、微調模型、量化模型或開源模型時，請使用該術語。
應用範例
載入經過批准的模型權重到隔離的推理環境中。操作
推論
Inference
意思
運行訓練好的模型，並將其應用於新的輸入，以產生輸出的過程。
使用時機
在討論伺服器、延遲、硬體或每次請求的成本時使用。
應用範例
批次處理非緊急的推理請求，以提高吞吐量。操作
知識截止日期
Knowledge cutoff
意思
模型训练知识中最重要的时间点。
使用時機
在詢問有關近期事件、價格、政策或軟體版本的資訊之前，先檢查一下。
應用範例
使用即時搜尋功能，用於查詢模型知識截止日期之後發生的事件。生成
採樣
Sampling
意思
用于从模型的概率分布中选择每个下一个令牌的方法。
使用時機
當您需要更具確定性或更多樣化的輸出時，調整採樣方式。
應用範例
對於策略提取，請使用保守的採樣；對於創意發想，請使用更廣泛的採樣。生成
溫度
Temperature
意思
一個生成設置，通常控制令牌選擇的集中程度或多樣性。
使用時機
對於可重複的結構化任務，降低其值；對於探索，謹慎地提高其值。
注意
确切的效果和支持范围因模型和提供商而异。
應用範例
設定一個較低的溫度，用於將發票轉換為固定的 JSON 結構。