可靠性
幻觉（虚构）
Hallucination (confabulation)
含义
一个听起来合理但缺乏可用证据或在事实上不正确的输出。
使用场景
将其视为一种风险，通过明确说明、验证、评估和用户告知来加以管理。
应用示例
在发布之前，验证名称、日期、数字和引用是否与权威来源一致。生成式 AI 工程
AI 安全与隐私术语
了解负责任的 AI 运行所需的可靠性、攻击、隐私、审核、公平性、防护和红队术语。
12 个术语
攻击
提示注入
Prompt injection
含义
尝试使用与应用程序预期规则冲突的指令来操纵模型。
使用场景
将不可信的内容与指令分开，并在模型外部强制执行权限。
应用示例
将网页文本视为数据，而不是调用工具的授权。攻击
间接提示注入
Indirect prompt injection
含义
隐藏在外部内容中的恶意指令，AI系统会读取或检索这些内容。
使用场景
保护为代理提供数据的文档、电子邮件、网页和工具结果管道。
应用示例
忽略嵌入在检索到的文档中的指令，并将它们显示为不可信的内容。攻击
越狱
Jailbreak
含义
一种旨在绕过模型或应用程序的安全限制的提示策略。
使用场景
使用分层安全措施、监控、红队测试和最小权限工具。
应用示例
即使模型被操纵，也要在工具授权层阻止危险操作。隐私
个人身份信息 (PII)
Personally identifiable information (PII)
含义
直接或间接可以识别个人的信息。
使用场景
在使用 AI 处理之前，检测、最小化、删除敏感信息或获得适当的授权。
应用示例
将评估数据集中的客户姓名和账号替换为占位符。隐私
数据保留
Data retention
含义
规则，规定输入、输出、日志和派生数据的存储时间。
使用场景
在生产使用之前，定义它，并使其与目的、法律、合同和删除需求相一致。
应用示例
在保留匿名聚合指标的同时，删除原始提示，保留 30 天。隐私
数据驻留
Data residency
含义
存储或处理数据的地理位置。
使用场景
如果法律、合同或组织政策限制数据位置，请检查。
应用示例
仅将区域客户数据路由到批准的区域服务。控制
保护机制
Guardrail
含义
一种技术或程序控制，用于约束、检查或调整 AI 的行为。
使用场景
结合输入检查、输出验证、权限、监控和人工审查。
应用示例
在执行之前，验证生成的SQL是否符合允许列表。控制
内容审核
Content moderation
含义
检测和处理违反安全或平台策略的内容。
使用场景
将其应用于输入和输出，并根据风险级别选择合适的动作。
应用示例
标记高风险内容以供审查，并在适当的情况下提供安全的替代方案。偏差和公平性
偏差
Bias
含义
一种系统性倾向，可能导致偏差或不公平的结果。
使用场景
在相关的组、语言、上下文以及失败成本中进行测量。
应用示例
比较支持的语言的假拒绝率。偏差和公平性
公平性
Fairness
含义
用于评估益处、错误和治疗是否合理分配的目标和标准。
使用场景
根据具体的用例定义它，因为不同的公平性指标可能存在冲突。
应用示例
记录适用于招聘辅助工作流程的公平性指标，并说明原因。保证
AI 红队测试
AI red teaming
含义
结构化的对抗性测试，用于搜索有害的故障、滥用路径和薄弱的控制。
使用场景
在发布之前，并在进行有意义的更改后，使用真实的威胁场景运行它。
应用示例
测试提示注入、数据泄露、不安全的工具操作以及多语言绕过尝试。