Ingénierie de l’IA générative
Apprenez à créer des cas de test d'invite, à comparer des variantes contrôlées, à analyser les échecs, à prévenir les régressions et à équilibrer la qualité, la latence et le coût.
16 termes
Données de test
Prompt test case
Une entrée, un contexte, un comportement attendu et une règle d'évaluation définis utilisés pour vérifier une invite.
Créer des cas pour les requêtes normales, les conditions limites, les entrées ambiguës et les refus attendus.
Entrée : ID de compte manquant ; comportement attendu : demander l'ID sans l'inventer.Données de test
Golden dataset
Une collection examinée d'entrées de test représentatives et de résultats attendus fiables ou de directives de notation.
Utilisez-le pour comparer de manière cohérente les changements de prompt entre les différentes versions.
Actualiser l'ensemble de données en fonction des modifications de l'utilisation réelle, tout en préservant un sous-ensemble de régression stable.
Conservez 200 cas de support vérifiés avec la catégorie attendue, les faits requis et les affirmations interdites.Expériences
Baseline prompt
L'invite actuelle ou la plus simple utilisée comme point de référence pour la comparaison.
L'enregistrer avant l'optimisation afin que les améliorations déclarées puissent être mesurées.
La référence v12 utilise le modèle de production, les paramètres par défaut et les paramètres de récupération inchangés.Expériences
Prompt variant
Une formulation de requête alternative, une structure, un ensemble d'exemples, un modèle ou une configuration d'inférence testés par rapport à une référence.
Nom et variantes de version afin que les résultats puissent être reproduits et promus en toute sécurité.
La variante B déplace les contraintes après la source et ajoute un exemple négatif.Expériences
Controlled experiment
Une comparaison qui modifie un facteur spécifique tout en maintenant les entrées et les paramètres pertinents constants.
Utilisez-le pour attribuer une différence observée au changement de prompt plutôt qu'au modèle, aux données ou à l'échantillonnage.
Modifiez uniquement la formulation de l'instruction ; conservez l'ensemble de données, la version du modèle, la température et l'évaluateur fixes.Expériences
A/B test
Une expérience comparant deux versions de requête ou de configuration sur un trafic comparable ou des échantillons de test.
Utilisez-le après les vérifications hors ligne lorsque le comportement en production et les résultats pour les utilisateurs doivent être comparés.
Protéger les utilisateurs grâce à des règles d'éligibilité, une surveillance et des conditions d'arrêt ; ne pas exposer les flux de travail à haut risque sans examen.
Diriger aléatoirement les requêtes éligibles vers A ou B et comparer le succès de la tâche, les corrections, la latence et le coût.Expériences
Prompt ablation
Suppression ou remplacement d'un composant d'invite pour mesurer sa contribution.
Utilisez-le pour identifier les instructions, les exemples ou le contexte inutiles qui ajoutent des coûts sans améliorer la qualité.
Supprimer le troisième exemple tout en conservant tous les autres composants inchangés.Évaluation
Batch evaluation
Exécuter une requête sur de nombreux cas préparés et agréger les résultats par cas et les résultats globaux.
Utilisez-le avant les vérifications manuelles ponctuelles qui sont prises pour une performance représentative.
Exécuter toutes les variantes de requête sur l'ensemble d'évaluation fixe et exporter les échecs par cas.Évaluation
Prompt regression
Un comportement qui fonctionnait auparavant mais qui s'aggrave après une modification de l'invite, du modèle, de la récupération, de l'outil ou de la politique.
Suivez-le avec une suite stable et comparez les résultats avant chaque version.
Le nouveau format concis a amélioré la longueur, mais a cessé d'inclure les identifiants de source requis.Fiabilité
Robustness test
Un test pour vérifier si un comportement acceptable est maintenu dans des variations réalistes, du bruit, des langues et des cas limites.
Utilisez des paraphrases, un contexte réorganisé, des fautes de frappe, des champs manquants et des entrées déroutantes.
Tester la même intention avec une formulation formelle, conversationnelle, mal orthographiée et multilingue.Fiabilité
Sensitivity test
Un test qui mesure la force avec laquelle les sorties changent lorsqu'une petite modification de l'entrée ou de la configuration est apportée.
Utilisez-le pour la formulation, l'ordre des exemples, la température, le placement du contexte et les modifications de version du modèle.
Déplacer la même preuve du début vers le milieu et comparer la précision des citations.Fiabilité
Failure taxonomy
Un ensemble cohérent de catégories utilisé pour étiqueter et analyser les échecs des invites.
Définissez-le avant les grandes évaluations afin que les équipes puissent identifier les causes plutôt que de simplement compter les échecs.
Étiquettes : fait manquant, affirmation non prise en charge, erreur de schéma, mauvais outil, divulgation dangereuse, latence excessive.Évaluation
Acceptance threshold
Un score ou une règle prédéfinie qu'une version d'invite doit respecter avant sa publication.
Définissez les seuils en fonction du risque et incluez les cas où l'échec est inacceptable, plutôt que de vous fier uniquement aux moyennes.
Publier uniquement si la précision des champs obligatoires est d'au moins 98 % et qu'aucun cas de confidentialité critique ne échoue.Évaluation
Model and parameter matrix
Une grille planifiée comparant les invites entre différentes versions de modèles et paramètres d'inférence.
Utilisez-le lorsqu'une invite peut se comporter différemment après une migration de modèle ou des modifications de paramètres.
Évaluer la version v8 du modèle A et B avec deux paramètres de température pris en charge.Efficacité
Quality, latency, and cost comparison
Une vue combinée de la qualité de la tâche, du temps de réponse et de l'utilisation des ressources pour chaque candidat.
Utilisez-le pour éviter de sélectionner un prompt légèrement meilleur qui est trop lent ou coûteux pour sa charge de travail.
Comparer le taux de réussite, la latence p95, les jetons d'entrée, les jetons de sortie et le coût estimé par tâche réussie.Efficacité
Prompt optimization loop
Un cycle itératif de définition des objectifs, de test d'une référence, d'analyse des échecs, de modification de la requête et de retest.
Utilisez de petits changements basés sur des preuves et conservez les résultats versionnés à chaque itération.
Define metric -> run baseline -> label failures -> change one component -> rerun -> review regressions.| Étape | Preuve requise |
|---|---|
| Définissez la cible | Résultat pour l'utilisateur, critères de qualité, risque, latence et limites de coût. |
| Établir la référence | Invite versionnée, modèle, paramètres, ensemble de données et résultats par cas. |
| Tester un changement | Variante contrôlée, exécutions répétées si nécessaire, et étiquettes d'échec |
| Publier ou rejeter | Seuils d'acceptation, revue de régression, approbation humaine et plan de restauration. |
Quelques exemples peuvent manquer les échecs courants, les cas limites, les variations et les régressions. Utilisez des cas représentatifs, des règles de notation stables, un examen par cas et des résultats par lots avant de tirer des conclusions.
Non. Sélectionnez des métriques qui reflètent la tâche, y compris les faits requis, la pertinence, la validité du format, la sécurité, la robustesse, la latence, l'utilisation des jetons, le coût et les efforts de correction humaine.
Pour un diagnostic causal, modifiez un seul facteur principal à la fois. Les comparaisons de candidats plus larges peuvent modifier plusieurs composants, mais elles montrent quel candidat complet est le meilleur, plutôt que quel composant a causé la différence.
Guide officiel décrivant l'ingénierie des prompts comme un flux de travail itératif axé sur les tests, avec des objectifs définis et une évaluation systématique.
Guide pour tester les variantes de prompts contrôlées sur des données représentatives et comparer les résultats mesurables.
Commencez par des instructions explicites, des exemples, des contraintes, des schémas de sortie et des flux de travail décomposés.
Connectez les expériences spécifiques aux invites à la qualité globale du système, à l'examen humain, aux références, aux mesures opérationnelles.
Versions des candidats testés et ne promeuvez que la révision immutable approuvée.
Incluez l'injection de prompt, la confidentialité, le contenu nuisible, l'équité et les cas de tests adverses dans la stratégie de test.