信頼性
Hallucination (confabulation)
Hallucination (confabulation)
意味
信頼できる音を出すが、利用可能な証拠によって裏付けられていない、または事実上誤っている出力。
使用場面
リスクとして扱い、グラウンディング、検証、評価、およびユーザーへの開示を通じて管理します。
活用例
公開前に、名前、日付、数値、および引用元を信頼できる情報源と照合します。生成AIエンジニアリング
AI安全・プライバシー用語
責任あるAI運用に必要な、信頼性、攻撃、プライバシー、モデレーション、公平性、ガードレール、レッドチームといった用語を学びます。
12 件
攻撃
プロンプトインジェクション
Prompt injection
意味
アプリケーションの意図されたルールと矛盾する指示を使用して、モデルを操作しようとする試み。
使用場面
信頼できないコンテンツを指示から分離し、モデル外で権限を適用します。
活用例
Webページのテキストをデータとして扱い、ツールを呼び出すための許可として扱わないでください。攻撃
間接プロンプトインジェクション
Indirect prompt injection
意味
AIシステムが読み取るか取得する外部コンテンツに隠された悪意のある指示。
使用場面
エージェントに供給されるドキュメント、メール、Webページ、およびツール結果のパイプラインを保護します。
活用例
取得したドキュメントに埋め込まれている指示を無視し、それらを信頼できないコンテンツとして表示します。攻撃
ジェイルブレイク
Jailbreak
意味
モデルまたはアプリケーションの安全制限を回避することを目的としたプロンプト戦略。
使用場面
レイヤードされた安全対策、監視、レッドチームテスト、および最小権限のツールを使用します。
活用例
モデルが操作された場合でも、ツール認証レイヤーで危険なアクションをブロックします。プライバシー
個人を特定できる情報 (PII)
Personally identifiable information (PII)
意味
個人を直接的または間接的に特定する情報。
使用場面
AIで処理する前に、検出、最小化、機密情報の削除、または適切な権限の取得を行います。
活用例
評価データセットで、顧客名と口座番号をプレースホルダーに置き換えます。プライバシー
データ保持
Data retention
意味
入力、出力、ログ、および派生データの保存期間を規定するルール。
使用場面
本番環境で使用する前に、これを定義し、目的、法律、契約、および削除の必要性と一致させます。
活用例
生のプロンプトを30日後に削除しますが、匿名化された集計メトリックは保持します。プライバシー
データ所在地
Data residency
意味
データが保存または処理される地理的な場所。
使用場面
データが法律、契約、または組織の方針によって特定の場所に制限されている場合に確認します。
活用例
地域顧客データを、承認された地域サービスのみにルーティングします。制御
Guardrail
Guardrail
意味
AIの動作を制限、チェック、またはリダイレクトする技術的または手順的な制御。
使用場面
入力チェック、出力検証、権限、監視、および人間によるレビューを組み合わせます。
活用例
実行前に、生成されたSQLを許可リストに対して検証します。制御
コンテンツのモデレーション
Content moderation
意味
安全性またはプラットフォームポリシーに違反するコンテンツの検出と処理。
使用場面
入力と出力に、リスクレベルに応じた適切なアクションを適用します。
活用例
リスクの高いコンテンツをレビュー用にフラグを立て、適切な場合は安全な代替案を提供する。バイアスと公平性
バイアス
Bias
意味
偏った結果や不公平な結果を生み出す可能性のある傾向。
使用場面
関連するグループ、言語、コンテキスト、および失敗コスト全体で測定します。
活用例
サポートされている各言語における誤拒否率を比較する。バイアスと公平性
公平性
Fairness
意味
利益、エラー、および治療が適切に分配されているかどうかを評価するための目標と基準。
使用場面
これは、異なる公平性の尺度同士が競合する可能性があるため、特定のユースケースに合わせて定義します。
活用例
採用支援ワークフローに適用される公平性指標とその理由を文書化してください。確証
AIレッドチーミング
AI red teaming
意味
悪意のあるエラー、不正使用の経路、および脆弱な制御を検索する構造化された敵対的テスト。
使用場面
リリース前に、および意味のある変更後に、現実的な脅威シナリオを使用して実行します。
活用例
プロンプトインジェクション、データ漏洩、安全でないツールアクション、および多言語による回避試行をテストします。