AI Engineering Tools

生成式 AI 工程

AI 提示管理與營運術語

學習如何註冊、版本控制、配置、批准、部署、追蹤、回滾和停用在生產 AI 系統中使用的提示。

16 個術語

資源和註冊表

提示資源

Prompt asset

意思

一個提示及其相關的元數據、變數、範例、配置、測試和所有權資訊。

使用時機

將生產環境中的提示視為受管理的應用程式資產,而不是匿名複製的文字。

應用範例

資源包括範本、模式、擁有者、模型綁定、測試套件、風險等級和發布說明。

資源和註冊表

提示註冊表或存儲庫

Prompt registry or store

意思

一個受控的目錄,其中可以發現、版本控制、比較和檢索提示資源。

使用時機

運用它來防止生產提示分散在原始文件、文檔和個人筆記中。

應用範例

依使用案例、擁有者、狀態、模型系列和環境搜尋註冊表。

資源和註冊表

提示 ID

Prompt ID

意思

一個用於邏輯提示的穩定標識符,適用於不同版本。

使用時機

在程式碼、遙測和批准中使用,其中版本可以識別確切內容。

應用範例

prompt_id: support.case_summary

版本生命週期

提示版本

Prompt version

意思

一個可識別的提示內容和相關配置的修訂版本。

使用時機

對於可重現的評估、部署、事件和回滾,使用不可變的版本。

應用範例

support.case_summary@17,內容摘要 sha256:...

版本生命週期

草稿和已發布版本

Draft and published version

意思

一個與批准的不可變版本對比的、可修改的工作版本,該版本可供應用程序使用。

使用時機

使用草稿進行迭代,僅在通過所有必要的測試和審批後才發布。

應用範例

草稿 18 仍然可以編輯;生產環境繼續引用已發布的版本 17。

配置

提示變數

Prompt variable

意思

一個使用請求特定數據填充的命名佔位符,在運行時使用。

使用時機

對於每個變數,定義類型、必填字段、轉義、長度限制和信任等級。

注意

不要將密碼放置在提示變數中,除非批准的設計明確要求並保護它們。

應用範例

Summarize {{case_notes}} for {{audience}} using {{output_schema}}.

配置

提示配置

Prompt configuration

意思

与提示相关的模型、推理参数、工具定义、输出模式和其他设置。

使用時機

可以顯著改變行為的版本設定,以及提示文本。

應用範例

配置:模型系列、溫度、最大輸出、Schema 版本、已啟用工具、逾時。

配置

模型綁定

Model binding

意思

声明的模型或模型系列,用于设计和测试提示版本。

使用時機

運用它來防止未經測試的模型遷移在後台默默地改變行為。

應用範例

提示 v17 已批准用於模型系列 A 的 2026-05 版本。

交付

環境升級

Environment promotion

意思

將已批准的提示版本在開發、測試和生產環境中進行部署。

使用時機

替換為相同的不可變版本,而不是手動在環境之間複製文本。

應用範例

dev -> evaluation passed -> staging approval -> production

交付

提示部署

Prompt deployment

意思

將選取的提示版本和配置提供給應用程式或工作流程。

使用時機

透過識別碼部署,並包含健康檢查、可觀察性以及記錄的恢復路徑。

應用範例

將 `support.case_summary@17` 部署到 10% 的符合資格流量,然後監控發布指標。

交付

提示回滾

Prompt rollback

意思

在發現問題後,將流量恢復到先前已批准的提示版本。

使用時機

在正式發布之前,準備並演練回滾。

應用範例

如果「required-field」的準確度低於閾值,請恢復版本 16,而不要進行任何修改。

治理

提示變更批准

Prompt change approval

意思

一個已記錄的審查決策,授權特定用途和環境下的提示版本。

使用時機

對於外部可見、受規範、財務或與安全相關的行為,需要相應的批准。

應用範例

批准記錄包含審閱者、範圍、證據、限制、版本和到期日。

治理

提示所有權

Prompt ownership

意思

分配對提示的品質、訪問、審查、事件、更新和停用負責的職責。

使用時機

在提示用於生產環境之前,指定服務擁有者和備份人員。

應用範例

擁有者:支援平台;審閱者:合規部門;下次審閱:2026-10-01。

治理

提示審核日誌

Prompt audit log

意思

一個防篡改的提示更改、批准、部署、訪問和回滾歷史記錄。

使用時機

用於調查事件並演示誰更改了什麼、何時以及為什麼。

應用範例

記錄 actor、timestamp、prompt ID、before 以及 after versions、action、ticket 和 environment。

可觀察性

提示追蹤

Prompt trace

意思

一種記錄,用於連結提示版本、輸入、模型配置、工具活動、輸出以及評估信號。

使用時機

適用於調試和效能分析,並採用適當的最小化和存取控制。

注意

追蹤可能會捕獲個人、機密或受版權保護的資料;適當地最小化、刪除、限制和過期這些資料。

應用範例

trace_id 連結到 prompt v17,已刪除的輸入、模型版本、延遲、Token 使用量和驗證器結果。

版本生命週期

提示過時

Prompt deprecation

意思

將提示版本或資產標記為已安排停用,不再建議用於新的用途。

使用時機

發布遷移指南,識別用戶,設定截止日期,並在移除之前保留回滾證據。

應用範例

在 8 月 1 日停用 v12,將所有剩餘的呼叫者遷移到 v17,並歸檔其評估記錄。

最小生產提示記錄

記錄。為什麼這很重要
提示 ID、不可變版本和內容摘要識別評估或請求所使用的確切資源。
模型、參數、模式、工具和變量合約使行為可重現,並揭示相容性要求。
擁有者、批准、測試證據、環境和發布時間顯示權威、準備狀態和操作責任。
追蹤策略、監控閾值和回滾目標支援事件檢測、診斷和恢復。

常見問題

為什麼不將提示僅儲存在應用程式原始碼中?

來源控制很有用,但生產運營也需要特定於提示的元數據、評估證據、批准、環境升級、請求追蹤、所有權、過時和回滾鏈接。 這些可以建立在程式碼周圍,或者由提示註冊表提供。

提示版本是否應包含模型設定?

至少,記錄可以改變行為的設定和依賴項,例如模型版本、支援的參數、輸出模式、工具定義和變數合約。 共享一個版本號是實施選擇,但確切的組合必須是可重現的。

哪些資訊不應該儲存在提示追蹤中?

不要保留不必要的個人資料、憑證、密碼、機密來源資料或未經授權的版權內容。 應用目的限制、刪除、訪問控制、保留限制、刪除以及法律或合同要求。

官方參考資料