可靠性
幻覺 (虛構)
Hallucination (confabulation)
意思
一個聽起來合理但沒有可用證據支持或在事實上不正確的輸出。
使用時機
將其視為需要透過驗證、評估和使用者告知來管理的風險。
應用範例
在發布之前，驗證姓名、日期、數字和引用是否來自可靠來源。生成式 AI 工程
AI 安全與隱私術語
學習用於負責任的 AI 運營所需的可靠性、攻擊、隱私、審查、公平性、安全措施和紅隊術語。
12 個術語
攻擊
提示注入
Prompt injection
意思
一個嘗試通過包含與應用程序的預期規則衝突的指令來操縱模型的嘗試。
使用時機
區分不可信任的內容與指令，並在模型外部強制執行權限。
應用範例
將網頁文字視為數據，而不是用於呼叫工具的授權。攻擊
間接提示注入
Indirect prompt injection
意思
隱藏在外部內容中的惡意指令，AI 系統會讀取或檢索這些內容。
使用時機
保護用於代理程式的文檔、電子郵件、網頁和工具結果管道。
應用範例
忽略嵌入在檢索到的文檔中的指令，並將其顯示為不可信的內容。攻擊
越獄
Jailbreak
意思
一種旨在繞過模型或應用程式安全限制的提示策略。
使用時機
使用分層安全措施、監控、滲透測試和最小權限工具。
應用範例
即使模型被操縱，也要在工具授權層級阻止危險操作。隱私
個人可識別資訊 (PII)
Personally identifiable information (PII)
意思
直接或間接可以識別個人的信息。
使用時機
檢測、最小化、刪除或在 AI 處理之前獲得適當的授權。
應用範例
將評估資料集中客戶姓名和帳戶號碼替換為佔位符。隱私
資料保留期限
Data retention
意思
規則，用於規定輸入、輸出、記錄和衍生資料的儲存時間。
使用時機
在正式使用之前，先定義它，並使其與目的、法律、合同和刪除需求相符。
應用範例
在保留匿名聚合指標的同時，刪除原始提示，保留 30 天。隱私
資料所在地
Data residency
意思
存储或处理数据的地理位置。
使用時機
如果法律、合同或組織政策限制數據位置，請檢查一下。
應用範例
僅將區域客戶資料路由到批准的區域服務。控制
防護欄
Guardrail
意思
一種約束、檢查或重新導向 AI 行為的技術或程序控制。
使用時機
結合輸入檢查、輸出驗證、權限、監控和人工審查。
應用範例
在執行之前，驗證生成的SQL是否符合允許列表。控制
內容審查
Content moderation
意思
檢測和處理違反安全或平台策略的內容。
使用時機
將其應用於具有適合風險等級的動作的輸入和輸出。
應用範例
標記高風險內容以供審查，並在適當時提供安全的替代方案。偏差與公平性
偏差
Bias
意思
一種系統性趨勢，可能導致偏差或不公平的結果。
使用時機
在相關群組、語言、上下文和失敗成本中測量它。
應用範例
比較支援語言的假拒絕率。偏差與公平性
公平性
Fairness
意思
用于评估益处、错误和治疗是否合理分配的目标和标准。
使用時機
針對特定使用案例定義它，因為不同的公平性指標可能存在衝突。
應用範例
记录适用于招聘辅助工作流程的公平性指标，以及原因。確保
AI 紅隊演練
AI red teaming
意思
結構化的對抗性測試，用於搜索有害的失敗、濫用路徑和薄弱的控制。
使用時機
在發布之前以及在進行重大變更後，使用真實的威脅情境來執行它。
應用範例
測試提示注入、資料洩漏、不安全的工具操作以及多語言繞過嘗試。