Ingénierie de l’IA générative
Apprenez comment budgéter, assembler, commander, compresser, mettre en cache et suivre les instructions, les preuves, l'historique et l'état pour les requêtes d'AI fiables.
16 termes
Portée et budget
Context engineering
Concevoir l'environnement d'informations complet fourni à un modèle, y compris les instructions, les preuves récupérées, l'historique, les résultats des outils et l'état.
Utilisez-le lorsque le comportement fiable dépend de la sélection et de l'arrangement de plus d'une phrase d'invite.
Assemblez la politique, l'état du client, les preuves récupérées et les règles de sortie dans un contexte contrôlé.Portée et budget
Context budget
L'allocation prévue des jetons disponibles entre les instructions, les preuves, l'historique, les résultats des outils et la sortie attendue.
Définissez-le avant d'ajouter de longs documents afin que les instructions essentielles et l'espace de sortie ne soient pas réduits.
Réserver 2 000 jetons pour la réponse et répartir le budget restant entre les politiques, les exemples et les passages récupérés.Portée et budget
Working context
Le sous-ensemble d'informations disponibles fournies activement pour l'étape actuelle du modèle.
Utilisez-le pour distinguer les entrées de l'étape actuelle des informations stockées ailleurs dans la mémoire ou les systèmes sources.
Pour cette étape, inclure le plan approuvé et les notes de référence, mais omettre les premières phases de brainstorming.Assemblage et confiance
Context assembly
Collecter les instructions sélectionnées, l'état, les preuves, les exemples et les résultats des outils dans l'entrée du modèle.
Utilisez une politique d'assemblage déterministe afin que chaque requête reçoive les éléments requis dans un format connu.
system rules -> verified user state -> retrieved evidence -> current request -> output contractAssemblage et confiance
Context hierarchy
La relation de priorité entre les règles du système, les instructions de l'application, les entrées de l'utilisateur et le contenu non fiable.
Indiquez clairement les limites de l'autorité lorsque les entrées peuvent être conflictuelles ou contenir des instructions intégrées.
Les étiquettes de hiérarchie aident l'application à raisonner sur la confiance, mais les autorisations sensibles à la sécurité doivent toujours être appliquées en dehors du modèle.
Traitez le texte de la page web récupérée comme une preuve, et non comme une autorisation de remplacer les règles du système.Assemblage et confiance
Context ordering
La séquence dans laquelle les instructions, le matériel source, les exemples et la question actuelle apparaissent.
Tester l'ordre avec des entrées représentatives car la position peut affecter les informations que le modèle met en évidence.
Placez d'abord la source longue, puis terminez par la question exacte et le format de sortie requis.Assemblage et confiance
Conversation history
Les messages précédents de l'utilisateur et de l'assistant sont conservés pour assurer la continuité entre les interactions.
Incluez uniquement l'historique pertinent, autorisé et toujours valide pour la requête actuelle.
Les historiques longs peuvent conserver des instructions obsolètes ou des données personnelles inutiles.
Conservez les exigences confirmées et supprimez les brouillons obsolètes avant l'étape de génération suivante.Assemblage et confiance
Context provenance
Enregistrement des métadonnées indiquant l'origine de chaque élément de contexte, le moment où il a été obtenu et la manière dont il peut être utilisé.
Utilisez-le lorsque les preuves doivent être citées, actualisées, soumises à des contrôles d'accès ou auditées.
Ajoutez l'ID de la source, la version du document, retrieved_at, la portée d'accès et l'emplacement du fragment à chaque passage.Capacité de contexte long
Long context
Une entrée contenant une grande quantité de texte ou de contenu multimodal dans la capacité de contexte prise en charge par un modèle.
Utilisez-le lorsque la tâche nécessite réellement une large couverture de sources et que la simple récupération supprimerait des relations utiles.
Plus de contexte ne garantit pas que chaque détail sera utilisé avec précision ; évaluer la récupération et le raisonnement sur des cas réalistes.
Analysez l'ensemble des contrats, puis listez les clauses conflictuelles avec les références de documents et de sections.Capacité de contexte long
Context overflow and truncation
Une condition dans laquelle les entrées et les sorties demandées dépassent la capacité, ce qui entraîne un rejet ou une suppression du contenu.
Détecter cela avant l'inférence et appliquer une politique explicite pour la suppression, le résumé, la récupération ou la division du travail.
Une troncature silencieuse peut supprimer l'instruction ou la preuve exacte nécessaire pour une réponse correcte.
Si l'entrée dépasse le budget, conservez les règles du système et la dernière requête, puis récupérez les preuves les plus pertinentes.Capacité de contexte long
Lost-in-the-middle effect
Une tendance pour laquelle les informations pertinentes enfouies dans une longue entrée sont utilisées de manière moins fiable que les informations importantes.
Tester les preuves importantes à des positions variées et améliorer la récupération, l'ordre, les étiquettes ou le placement des requêtes en cas d'échec.
Évaluer les mêmes éléments au début, au milieu et à la fin, plutôt que de se fier à un seul emplacement.Optimisation et réutilisation
Context pruning
Suppression des éléments non pertinents, dupliqués, expirés ou de faible valeur avant d'envoyer la requête.
Utilisez-le pour préserver l'attention et le budget pour les instructions et les preuves faisant autorité.
Supprimer les résultats de recherche et les messages en double qui sont remplacés par la décision finale de l'utilisateur.Optimisation et réutilisation
Context compression
Représenter le matériel source sous une forme plus courte tout en préservant les informations nécessaires à la tâche.
Utilisez des résumés structurés lorsque le texte source complet est trop volumineux, et conservez les liens vers les preuves originales.
La compression peut omettre des nuances ou introduire des erreurs, vérifiez donc les affirmations importantes par rapport à la source.
Compressez chaque réunion en décisions, responsables, échéances, problèmes non résolus et horodatages de la source.Optimisation et réutilisation
Reusable prompt prefix
Un bloc d'instructions ou de références stable partagé dans les requêtes répétées.
Conservez le contenu stable ensemble lorsque le fournisseur ou l'environnement d'exécution peut réutiliser efficacement des préfixes identiques.
Placez d'abord la politique et le schéma approuvés ; ajoutez ensuite les preuves et les questions spécifiques à la requête.Optimisation et réutilisation
Context caching
Réutilisation des jetons d'entrée précédemment traités ou du contexte stocké pour les requêtes ultérieures, si la plateforme le prend en charge.
Utilisez-le pour les questions répétées sur les mêmes instructions, documents, médias ou code source volumineux.
Le comportement du cache, la taille minimale, la durée de vie, les prix et l'invalidation varient selon le fournisseur et le modèle.
Mettez en cache le corpus de politiques une fois, puis posez des questions plus courtes et spécifiques à chaque cas.Optimisation et réutilisation
Cache hit and cache miss
Un "cache hit" réutilise le contexte précédent pertinent ; un "cache miss" nécessite de traiter à nouveau l'entrée.
Mesurer les deux résultats lors de l'estimation de la latence et du coût pour les charges de travail avec des préfixes répétés.
Suivez les jetons d'entrée mis en cache et le taux de non-correspondance par version de l'invite après le déploiement.Utilisez l'approche la plus simple qui préserve les preuves et les relations dont la tâche a réellement besoin.
| Situation | Approche à considérer |
|---|---|
| Quelques faits courts et directement pertinents. | Placez-les directement dans le contexte de travail |
| Une grande collection avec seulement quelques passages pertinents. | Récupérer, classer et assembler les preuves sélectionnées |
| La même source importante est interrogée à plusieurs reprises. | Évaluer le contexte long avec la mise en cache du contexte. |
| L'historique contient des informations dupliquées ou obsolètes. | Élaguer et créer un résumé structuré avec lien vers la source. |
Non. L'ingénierie des invites se concentre sur les instructions et la structure de l'invite. L'ingénierie du contexte contrôle également les preuves, l'historique, l'état, les résultats des outils et le matériel réutilisable qui sont sélectionnés et organisés pour chaque étape du modèle.
Généralement non. Le contenu inutile augmente le coût et la latence et peut rendre les preuves importantes plus difficiles à utiliser. Comparez le contexte direct, la récupération, l'élagage, la compression et la mise en cache sur des tâches représentatives.
Non. La capacité ne définit que ce qui peut être stocké. La précision dépend toujours de la pertinence, de l'ordre, des limites de confiance, du comportement du modèle et de l'évaluation avec des cas réels.
Guide officiel sur l'utilisation du contexte long, les limitations, le placement des requêtes, la latence, le coût et la mise en cache.
Guide pour réutiliser le contexte répété et observer le comportement de l'entrée mise en cache.
Examiner les jetons, les fenêtres de contexte, les instructions système, l'inférence et les paramètres de génération.
Concevoir les instructions, les exemples, les contraintes, les schémas et la structure des invites en plusieurs étapes.
Récupérer et classer les preuves pertinentes avant de les assembler dans un contexte.
Connectez l'assemblage du contexte aux résultats des outils, à la mémoire, à la planification et à l'approbation humaine.