Ingénierie de l’IA générative
Comprendre les ensembles de données, les critères, le jugement humain et basé sur le modèle, les tests de régression et les métriques d'efficacité pour vérifier la qualité de l'AI.
12 termes
Données d'évaluation
Ground truth
Une réponse ou un étiquette cible fiable utilisée comme référence pour la comparaison.
Utilisez-le pour les tâches où les résultats corrects peuvent être définis de manière fiable.
Comparer les totaux des factures extraites avec les valeurs de référence vérifiées par des humains.Données d'évaluation
Evaluation dataset
Un ensemble de cas sélectionnés utilisés pour mesurer le comportement du modèle ou de l'application.
Incluez les cas normaux, difficiles, multilingues et critiques pour la sécurité provenant d'une utilisation réelle.
Créer un ensemble de données d'évaluation fixe de 200 questions de support anonymisées.Données d'évaluation
Benchmark
Une tâche ou un ensemble de données standard utilisés pour comparer des systèmes dans des conditions partagées.
Utilisez-le pour la comparaison directionnelle, puis validez-le avec vos propres cas d'utilisation.
Comparer les modèles candidats sur un benchmark public et l'ensemble d'évaluation interne.Critères
Metric
Une mesure numérique d'une propriété de qualité, de sécurité, de vitesse ou de coût sélectionnée.
Choisissez des métriques qui correspondent directement aux exigences des utilisateurs et des entreprises.
Suivez la justesse de la réponse, la précision des citations, la qualité des refus, la latence et le coût.Critères
Rubric
Un ensemble de critères écrits et de niveaux de notation utilisés pour juger d'une sortie.
Utilisez-le lorsque la qualité nécessite un jugement nuancé plutôt qu'une correspondance exacte.
Attribuer un score de 1 à 5 pour le support factuel, avec des exigences de preuve pour chaque niveau.Méthodes
Pointwise evaluation
Attribuer un score à une sortie indépendamment, en fonction de critères ou d'une référence.
Utilisez-le pour les vérifications de réussite/échec ou les scores de qualité absolus.
Évaluer cette réponse pour son exactitude et son exhaustivité sans voir les alternatives.Méthodes
Pairwise evaluation
Comparaison de deux résultats pour la même entrée et sélection du meilleur.
Utilisez-le lorsque la préférence relative est plus facile à juger qu'un score absolu.
Étant donné les réponses A et B, choisissez celle qui suit le mieux les preuves sources.Méthodes
Human evaluation
Évaluation effectuée par des personnes, souvent en utilisant des directives et des exemples étiquetés.
Utilisez des évaluateurs formés pour les qualités subjectives, à fort impact ou sensibles au contexte.
Deux experts du domaine examinent la fidélité du résumé médical et résolvent les désaccords.Méthodes
LLM-as-a-judge
Utilisation d'un modèle de langage pour évaluer, classer ou critiquer les résultats d'autres modèles.
Utilisez-le pour l'évaluation évolutive après avoir calibré par rapport aux jugements humains.
Les modèles de jugement peuvent être biaisés ou incohérents ; auditez-les avec des cas étiquetés par des humains représentatifs.
Demandez à un modèle de juge de noter le support de la citation en utilisant une grille fixe.Opérations
Pass rate
La proportion de cas d'évaluation qui répondent à un seuil d'acceptation défini.
Utilisez-le pour suivre les étapes de publication et les modifications de qualité au fil du temps.
Exiger un taux de réussite d'au moins 95 % sur les questions de politique critiques avant la publication.Opérations
Regression test
Un test répété qui vérifie si un changement casse un comportement qui fonctionnait auparavant.
L'exécuter après les modifications du modèle, de la requête, de la récupération, de l'outil ou de la politique.
Relancer la suite d'évaluation corrigée après avoir mis à jour l'instruction système.Opérations
Efficiency metrics
Mesures telles que la latence de réponse, l'utilisation des jetons, le débit et le coût monétaire.
Évaluer en même temps que la qualité, afin que les améliorations restent pratiques à grande échelle.
Comparer la latence p95 et le coût par tâche réussie, et non le coût par requête seul.