Ingénierie de l’IA générative
Apprenez les termes de fiabilité, d'attaque, de confidentialité, de modération, d'équité, de pare-feu et d'équipe rouge nécessaires pour le fonctionnement responsable de l'AI.
12 termes
Fiabilité
Hallucination (confabulation)
Une sortie qui semble plausible mais qui n'est pas étayée par les preuves disponibles ou qui est factuellement incorrecte.
Traitez-le comme un risque à gérer par le biais de la justification, de la vérification, de l'évaluation et de la divulgation aux utilisateurs.
Vérifiez les noms, les dates, les nombres et les citations par rapport à des sources faisant autorité avant de publier.Attaques
Prompt injection
Une tentative de manipulation d'un modèle avec des instructions qui contredisent les règles prévues de l'application.
Séparez le contenu non fiable des instructions et appliquez les permissions en dehors du modèle.
Traitez le texte de la page web comme des données, et non comme une autorisation d'utiliser des outils.Attaques
Indirect prompt injection
Instructions malveillantes cachées dans du contenu externe que le système d'AI lit ou récupère.
Protégez les pipelines de documents, d'e-mails, de pages web et de résultats d'outils qui alimentent les agents.
Ignorez les instructions intégrées dans les documents récupérés et affichez-les comme du contenu non fiable.Attaques
Jailbreak
Une stratégie d'invite destinée à contourner les restrictions de sécurité d'un modèle ou d'une application.
Utilisez des mesures de sécurité à plusieurs niveaux, une surveillance, des tests de type "red team" et des outils privilégiés.
Bloquez les actions dangereuses au niveau de l'autorisation de l'outil, même si le modèle est manipulé.Confidentialité
Personally identifiable information (PII)
Informations qui identifient directement ou indirectement une personne.
Détecter, minimiser, masquer ou obtenir l'autorisation appropriée avant de traiter cela avec l'AI.
Remplacer les noms de clients et les numéros de compte par des espaces réservés dans l'ensemble de données d'évaluation.Confidentialité
Data retention
Règles régissant la durée de stockage des entrées, des sorties, des journaux et des données dérivées.
Définissez-le avant l'utilisation en production et alignez-le sur le but, la loi, les contrats et les besoins de suppression.
Supprimez les invites brutes après 30 jours tout en conservant les métriques agrégées anonymisées.Confidentialité
Data residency
L'emplacement géographique où les données sont stockées ou traitées.
Vérifier si les lois, les contrats ou la politique organisationnelle restreignent l'emplacement des données.
Acheminer uniquement les données client régionales vers les services approuvés de la région.Contrôles
Guardrail
Un contrôle technique ou procédural qui contraint, vérifie ou redirige le comportement de l'AI.
Combiner les vérifications d'entrée, la validation de la sortie, les autorisations, la surveillance et l'examen humain.
Validez le SQL généré par rapport à une liste blanche avant l'exécution.Contrôles
Content moderation
Détection et traitement du contenu qui viole les politiques de sécurité ou de la plateforme.
Appliquez-le aux entrées et aux sorties avec des actions adaptées au niveau de risque.
Signaler le contenu à haut risque pour examen et fournir une alternative sûre si approprié.Biais et équité
Bias
Une tendance systématique qui peut produire des résultats biaisés ou injustes.
Mesurer cela sur des groupes, des langues, des contextes et des coûts de défaillance pertinents.
Comparer les taux de faux rejets dans les langues prises en charge.Biais et équité
Fairness
L'objectif et les critères utilisés pour évaluer si les avantages, les erreurs et les traitements sont distribués de manière appropriée.
Définissez-le pour le cas d'utilisation spécifique, car différentes mesures d'équité peuvent être contradictoires.
Documenter quelle métrique de fairness s'applique au flux de travail d'aide à l'embauche et pourquoi.Assurance
AI red teaming
Tests contradictoires structurés qui recherchent des échecs nuisibles, des chemins de mauvaise utilisation et des contrôles faibles.
L'exécuter avant le lancement et après des modifications significatives, en utilisant des scénarios de menace réalistes.
Tester l'injection de prompt, les fuites de données, les actions dangereuses des outils et les tentatives de contournement multilingues.