測試資料
提示測試案例
Prompt test case
意思
一個定義的輸入、上下文、預期行為和評估規則，用於檢查提示。
使用時機
建立用於正常請求、邊緣條件、模糊輸入和預期的拒絕的案例。
應用範例
輸入：缺少帳戶 ID；預期行為：在沒有捏造 ID 的情況下，請求 ID。生成式 AI 工程
AI 提示測試與最佳化術語
學習如何構建提示測試案例，比較受控變體，分析失敗，防止回歸，並平衡質量、延遲和成本。
16 個術語
測試資料
黃金數據集
Golden dataset
意思
一個經過審查的、具有代表性的測試輸入集合，以及可信的預期結果或評分指南。
使用時機
用於在不同版本中一致地比較提示更改。
注意
隨著實際使用情況的變化，刷新資料集，同時保留一個穩定的回歸子集。
應用範例
保持 200 個已審核的支援案例，包含預期的分類、所需的資訊，以及禁止的聲明。實驗
基準提示
Baseline prompt
意思
用作比较的参考点，即当前或最简单的提示。
使用時機
在優化之前記錄它，以便可以測量聲稱的改進。
應用範例
Baseline v12 使用生產模型、預設參數以及未更改的檢索設定。實驗
提示變體
Prompt variant
意思
一個替代的提示措辭、結構、示例集、模型或推理配置，與基準進行比較。
使用時機
使用不同的名稱和版本，以便可以安全地重現和推廣結果。
應用範例
Variant B 在源資料後移動約束，並添加一個負面示例。實驗
控制實驗
Controlled experiment
意思
一個比較，在保持相關輸入和設置不變的同時，更改一個預期的因素。
使用時機
用於將觀察到的差異歸因於提示的更改，而不是模型、數據或採樣。
應用範例
僅更改指令措辭；保持數據集、模型版本、溫度和評估器固定。實驗
A/B 測試
A/B test
意思
一個比較兩個提示或配置版本在可比流量或測試樣本上的實驗。
使用時機
在生產環境行為和用戶結果必須進行比較之前，使用它（在離線檢查之後）。
注意
使用資格規則、監控和停止條件來保護用戶；不要在未經審查的情況下暴露高風險的工作流程。
應用範例
將符合條件的請求隨機路由到 A 或 B，並比較任務成功率、更正、延遲和成本。實驗
提示消減
Prompt ablation
意思
移除或替換提示的一個組件，以衡量其貢獻。
使用時機
用於識別不必要的指令、範例或上下文，這些指令、範例或上下文會增加成本但不會提高品質。
應用範例
移除第三個範例，同時保持其他所有組件不變。評估
批次評估
Batch evaluation
意思
對於許多預先準備好的案例，執行提示，並彙總每個案例和總體結果。
使用時機
在將手動檢查誤認為具有代表性的效能之前，使用它。
應用範例
在固定的評估集上執行所有提示變體，並匯出每個案例的失敗情況。評估
提示回歸
Prompt regression
意思
一種先前有效的功能，但在提示、模型、檢索、工具或策略更改後變得更差。
使用時機
使用穩定的測試套件追蹤它，並在每次發布之前比較結果。
應用範例
新的简洁格式提高了长度，但停止了包含必需的源 ID。可靠性
健壯性測試
Robustness test
意思
一個測試，以驗證在現實情況下的變化、噪聲、語言和邊緣情況下，行為是否仍然有效。
使用時機
使用改寫、重新排序的上下文、拼寫錯誤、遺漏的欄位以及具有迷惑性的輸入。
應用範例
使用正式、口語化、拼寫錯誤以及多語言的措辭測試相同的意圖。可靠性
靈敏度測試
Sensitivity test
意思
一個測量當一個小的輸入或配置細節發生變化時，輸出變化的強度的測試。
使用時機
適用於措辭、範例順序、溫度、上下文放置和模型版本更改。
應用範例
將相同的證據從開頭移動到中間，並比較引用準確性。可靠性
錯誤分類
Failure taxonomy
意思
一組一致的類別，用於標記和分析提示失敗的情況。
使用時機
在進行大型評估之前，先定義它，以便團隊可以優先考慮原因，而不是僅僅計算失敗次數。
應用範例
標籤：缺少事實、未經支援的聲明、Schema 錯誤、錯誤的工具、不安全的洩露、過高的延遲。評估
接受閾值
Acceptance threshold
意思
一個預先定義的分數或規則，提示版本必須滿足才能發布。
使用時機
根據風險設定閾值，並包含必須成功的情況，而不是僅依賴平均值。
應用範例
僅在所有必要欄位的準確度至少為 98% 且沒有任何重要的隱私問題時才發布。評估
模型和參數矩陣
Model and parameter matrix
意思
一個計劃中的網格，用於比較不同模型版本和推理設定下的提示。
使用時機
在提示可能在模型遷移或參數更改後表現不同的情況下使用。
應用範例
在兩個支援的溫度設定下，評估提示 v8 在模型 A 和 B 上的表現。效率
品質、延遲和成本比較。
Quality, latency, and cost comparison
意思
對於每個候選方案，任務品質、響應時間和資源使用的綜合視圖。
使用時機
用於避免選擇一個略微更好的提示，但該提示速度太慢或成本太高。
應用範例
比較通過率、p95 延遲、輸入 token、輸出 token 和估計的每個成功任務的成本。效率
提示優化迴圈
Prompt optimization loop
意思
一個定義目標、測試基準、分析失敗、更改提示和重新測試的迭代週期。
使用時機
使用小幅的基於證據的變更，並在每次迭代時保留版本化的結果。
應用範例
Define metric -> run baseline -> label failures -> change one component -> rerun -> review regressions.提示優化工作流程
| 步驟 | 必需的證據 |
|---|---|
| 定義目標 | 用戶結果、品質標準、風險、延遲和成本限制。 |
| 建立基準線 | 版本提示、模型、設定、資料集和每個案例的結果。 |
| 測試變更 | 控制變數、重複運行（如果需要），以及失敗標籤 |
| 發布或拒絕 | 接受閾值、回歸審查、人工審批和回滾計劃 |
常見問題
為什麼僅僅檢查幾個輸出結果是不夠的？
幾個例子可能遺漏了常見的失敗、邊緣案例、變化和回歸。 使用具有代表性的案例、穩定的評分規則、逐個案例的審查和批量結果，然後再得出結論。
是否應該僅針對準確性優化提示？
否。選擇能夠反映任務的指標，包括所需的事實、可靠性、格式有效性、安全性、魯棒性、延遲、token 使用量、成本以及人工校正工作量。
一個實驗中應該更改多少個提示組件？
對於因果診斷，一次只更改一個主要因素。 更廣泛的候選比較可以更改多個組件，但它們顯示哪個完整的候選方案更勝，而不是哪個組件導致了差異。
官方參考資料
- Google Cloud — Overview of prompting strategies
描述提示工程作為一種基於測試、迭代的工作流程，具有明確的目標和系統評估的官方指南。
- Microsoft Learn — Tune prompts using variants
關於在代表性數據上測試受控提示變體並比較可測量的結果的官方指南。
相關術語指南
- AI 提示設計術語
從明確的指示、範例、約束、輸出模式和分解的工作流程開始。
- AI 結果驗證與評估術語
將特定提示的實驗與更廣泛的系統品質、人工審查、基準測試和運營指標聯繫起來。
- AI 提示管理與營運術語
測試版本候選者，並僅推廣經過批准的不可變版本。
- AI 安全與隱私術語
在測試策略中，包括提示注入、隱私、有害內容、公平性和紅隊案例。