Ingénierie de l’IA générative
Comprendre le modèle, l'entrée, le contexte, la génération et les termes d'opération utilisés lors du travail avec l'AI générative et les grands modèles de langage.
12 termes
Modèles
Generative AI
AI qui crée du texte, des images, de l'audio, du code ou d'autres contenus à partir de modèles appris.
Utilisez le terme lorsque vous distinguez les systèmes de production de contenu des systèmes de classification ou de prédiction.
Utilisez l'AI générative pour rédiger trois descriptions de produits, puis vérifiez leur exactitude factuelle.Modèles
Foundation model
Un modèle largement entraîné qui peut être adapté à de nombreuses tâches en aval.
Utilisez-le lorsque vous discutez du modèle de base qui sous-tend un chatbot, un agent ou une application spécialisée.
Sélectionnez un modèle de base, puis ajoutez des instructions spécifiques à la récupération et à la tâche pour le support client.Modèles
Large language model (LLM)
Un modèle entraîné sur de grandes collections de texte pour comprendre et générer des séquences de langage.
Utilisez-le pour la génération de texte, la summarisation, l'extraction, la traduction et les tâches conversationnelles.
Demandez au LLM de résumer le transcript de la réunion en décisions, responsables et échéances.Modèles
Multimodal model
Un modèle capable de traiter ou de produire plus d'un type de données, comme du texte et des images.
Utilisez-le lorsqu'une tâche combine des captures d'écran, des documents, de l'audio, de la vidéo ou du texte.
Fournir une image de graphique et demander au modèle multimodal d'expliquer la tendance visible.Entrée et contexte
Token
Une unité de texte traité par un modèle de langage ; il peut s'agir d'un mot, d'une partie de mot ou d'une ponctuation.
Utilisez les nombres de jetons pour estimer la capacité du contexte, la latence et le coût d'utilisation.
Supprimez les instructions répétées lorsque l'entrée approche la limite de jetons du modèle.Entrée et contexte
Context window
La quantité maximale de données d'entrée et de sortie générée qu'un modèle peut prendre en compte dans une seule requête.
Utilisez-le pour décider si les documents doivent être résumés, divisés en segments ou récupérés de manière sélective.
Une fenêtre de contexte plus large ne garantit pas que chaque détail inclus sera utilisé correctement.
Récupérer les cinq passages les plus pertinents au lieu de placer l'ensemble de l'archive dans la fenêtre de contexte.Entrée et contexte
System instruction
Une instruction de priorité élevée qui définit le rôle, les règles et le comportement de réponse du modèle.
Utilisez-le pour définir un comportement durable partagé par de nombreuses requêtes utilisateur.
Vous êtes un assistant de support. Citez la politique fournie et indiquez quand des preuves sont manquantes.Opération
Model weights
Valeurs numériques apprises qui encodent les modèles acquis pendant la formation.
Utilisez le terme lorsque vous comparez les modèles de base, les modèles affinés, les modèles quantifiés ou les modèles open-weight.
Charger les poids du modèle approuvés dans l'environnement d'inférence isolé.Opération
Inference
Le processus d'exécution d'un modèle entraîné sur une nouvelle entrée pour produire une sortie.
Utilisez-le lorsque vous discutez du service, de la latence, du matériel ou du coût par requête.
Traitez les requêtes d'inférence non urgentes par lots pour améliorer le débit.Opération
Knowledge cutoff
Le moment le plus récent représenté de manière significative dans les connaissances d'entraînement d'un modèle.
Vérifier avant de poser des questions sur les événements récents, les prix, les politiques ou les versions des logiciels.
Utilisez la recherche en direct pour les événements qui se sont produits après la date de fin de connaissance du modèle.Génération
Sampling
La méthode utilisée pour choisir chaque jeton suivant à partir de la distribution de probabilité du modèle.
Ajuster l'échantillonnage lorsque vous avez besoin de résultats plus déterministes ou plus variés.
Utilisez un échantillonnage conservateur pour l'extraction de politiques et un échantillonnage plus large pour la génération d'idées.Génération
Temperature
Un paramètre de génération qui contrôle généralement le degré de concentration ou de variété des choix de jetons.
Diminuez-la pour les tâches structurées répétables et augmentez-la prudemment pour l'exploration.
L'effet exact et la plage prise en charge varient selon le modèle et le fournisseur.
Définissez une température faible pour convertir les factures en un schéma JSON fixe.