Ingénierie de l’IA générative
Apprenez à structurer, à ancrer, à comparer et à vérifier les requêtes d'AI qui combinent du texte avec des images, des documents, de l'audio ou de la vidéo.
17 termes
Entrées multimédias
Multimodal prompt
Une requête qui combine du texte avec un ou plusieurs types de médias tels que des images, des documents, de l'audio ou de la vidéo.
Utilisez-le lorsque la tâche dépend d'informations exprimées dans plusieurs modalités.
Comparer l'image du graphique avec la prévision écrite et identifier les affirmations prises en charge et les affirmations contradictoires.Entrées multimédias
Image input
Une photographie, une capture d'écran, une numérisation, un diagramme ou une autre image fournie pour l'analyse du modèle.
Spécifiez la propriété ou la région visible exacte que le modèle doit examiner.
Dans la capture d'écran jointe, lisez uniquement le bandeau d'erreur et listez son code et son message.Entrées multimédias
Document input
Un fichier tel qu'un PDF, une présentation ou un rapport fourni avec une structure textuelle et visuelle.
Indiquez si la tâche doit conserver les références de page, de section, de tableau ou de note de bas de page.
Extraire les conditions de paiement du contrat et citer la page et la section pour chaque élément.Entrées multimédias
Audio input
Parole, musique, ambiance ou autre enregistrement sonore fourni pour la transcription ou l'analyse.
Définissez la langue, l'étiquette de l'orateur, l'horodatage et les exigences d'incertitude avant la transcription.
Transcrivez la réunion coréenne, étiquetez les locuteurs lorsqu'ils sont identifiables et horodatage chaque décision.Entrées multimédias
Video input
Une entrée visuelle basée sur le temps qui peut également contenir de la parole, du texte, des mouvements et des changements de scène.
Demandez des preuves temporelles et distinguez ce qui est vu, entendu ou inféré.
À chaque changement de scène, indiquez l'horodatage, l'action visible et l'affirmation prononcée.Structure des requêtes.
Interleaved input
Une séquence où le texte et les éléments multimédias alternent afin que les instructions ou les étiquettes restent proches de l'élément pertinent.
Utilisez-le pour les comparaisons, les démonstrations étape par étape ou les requêtes impliquant plusieurs éléments multimédias.
Image A -> its question -> Image B -> its question -> final comparison criteriaStructure des requêtes.
Modality ordering
L'ordre dans lequel les parties de texte, d'images, de documents, d'audio et de vidéo sont présentées.
Conservez les instructions connexes à proximité de leurs médias et testez des ordres alternatifs pour les flux de travail importants.
Fournir l'image, puis l'instruction d'extraction, puis le schéma de sortie.Structure des requêtes.
Image detail and resolution
La quantité de détails visuels disponibles pour lire de petits textes, des objets ou des relations spatiales.
Utilisez une résolution adéquate et recadrez la zone pertinente lorsque les détails fins sont importants.
Une résolution plus élevée peut augmenter le coût de traitement et ne peut toujours pas récupérer les détails qui manquent dans l'image source.
Joignez une vue rapprochée de l'étiquette de série plutôt qu'une photo distante de l'appareil entier.Ancrage des preuves
Visual grounding
Associer une déclaration ou un résultat extrait à un contenu observable dans une image ou une vidéo.
L'exiger lorsque les utilisateurs doivent vérifier d'où provient une conclusion.
Pour chaque défaut, décrire la preuve visible et identifier son emplacement approximatif.Ancrage des preuves
Region reference and bounding box
Une référence textuelle, basée sur des coordonnées ou encadrée, à une zone spécifique d'une image.
Utilisez des régions pour désambiguïser les objets répétés et prendre en charge l'examen ou l'annotation ultérieurs.
Les formats et la précision des coordonnées varient selon les modèles et les API ; validez-les avant l'automatisation.
Retourner chaque étiquette détectée avec une boîte normalisée [x_min, y_min, x_max, y_max].Ancrage des preuves
Temporal reference and timestamp
Une position ou un intervalle de temps identifiant où se produit un événement dans l'audio ou la vidéo.
Utilisez-le pour l'analyse de scène, l'examen des preuves, le montage et l'alignement des transcriptions.
Lister les incidents de sécurité en indiquant l'heure de début, l'heure de fin, l'action observée et le niveau de confiance.Tâches d'analyse
OCR instruction
Une requête pour détecter et transcrire du texte visible à partir d'une image ou d'un document numérisé.
Spécifiez les langues, la préservation de la mise en page, la gestion du texte illisible et si la normalisation est autorisée.
Transcrivez le reçu ligne par ligne ; utilisez [illisibles] au lieu de deviner les caractères manquants.Tâches d'analyse
Chart and table interpretation
Extraire des valeurs, des étiquettes, des tendances et des relations à partir de données visualisées ou tabulaires.
Demandez au modèle de séparer les valeurs directement lues des conclusions calculées ou inférées.
Extraire d'abord la légende et les unités des axes, puis signaler le changement annuel le plus important.Tâches d'analyse
Multi-image comparison
Analyse des similitudes, des différences ou des modifications entre deux ou plusieurs images.
Étiquetez chaque image et définissez des critères de comparaison stables avant de demander des conclusions.
Comparer l'image A et l'image B uniquement pour la mise en page, le texte visible, les contrôles manquants et les modifications de couleur.Tâches d'analyse
Cross-modal reasoning
Combiner des preuves provenant de différentes modalités pour répondre à une question ou parvenir à une conclusion.
Utilisez-le lorsque la réponse complète ne se trouve dans aucune modalité unique.
Utilisez le montant prononcé, l'image de la facture et le texte de la politique pour identifier toute incohérence.Ancrage des preuves
Multimodal evidence reference
Un pointeur semblable à une citation vers la page, la région, l'image ou l'horodatage qui appuie une réponse.
Exiger des références dans les résultats pouvant être examinés et les conserver tout au long des étapes ultérieures du flux de travail.
Affirmation : le total est de 48,20 ; preuve : page 1, ligne de total en bas à droite ; confiance : élevée.Fiabilité
Unsupported visual inference
Une conclusion qui va au-delà de ce que le média fourni prend en charge visuellement ou auditivement.
Demandez au modèle de marquer l'incertitude et d'indiquer quand une propriété ne peut pas être déterminée.
N'inférez pas de traits, d'identité, d'intention ou de conditions médicales sensibles uniquement à partir de l'apparence.
Indiquer uniquement les dommages visibles ; ne pas inférer la cause, sauf si les médias le montrent directement.| Ingénierie d'invite multimodale | Invites de génération de médias par l'AI |
|---|---|
| Fournit des images, des documents, de l'audio ou de la vidéo pour la compréhension et l'analyse. | Décrit l'image, la vidéo, la parole, la musique ou l'effet à générer. |
| Met l'accent sur l'ancrage, les régions, les horodatages, l'extraction, la comparaison et l'incertitude. | Met l'accent sur le sujet, la composition, la caméra, le mouvement, le style, le son et les contraintes négatives. |
Une requête textuelle pour générer une image est généralement une invite de génération de médias. Elle devient multimodale lorsque la requête fournit également une image ou une autre entrée multimédia pour l'analyse, la comparaison, le montage ou le guidage.
Demandez au modèle de distinguer les preuves observées directement des calculs ou des inférences, de citer une page, une région, une image ou un horodatage, et d'indiquer quand les médias ne soutiennent pas une conclusion.
Une utilisation assistive à faible risque peut permettre des vérifications automatisées, mais les décisions importantes doivent vérifier la qualité de la source, la précision de l'extraction, les inférences non prises en charge, la gestion des caractéristiques sensibles et les limitations spécifiques au modèle.
Guide officiel pour combiner du texte avec des entrées image et vidéo, ordonner les parties des prompts, résoudre les problèmes et contrôler la sortie.
Aperçu officiel du contenu des prompts, de la structure, des exemples, des formats de sortie, de l'itération et de l'évaluation.
Examiner les rôles, les instructions, les exemples, les contraintes et les schémas de sortie avant d'ajouter des entrées multimédias.
Budget et assemblez de grands documents, audio, vidéo, historique et preuves à l'appui.
Utilisez ce guide séparé lorsque l'objectif est de créer une image plutôt que de l'analyser.
Utilisez ce guide séparé pour la caméra, le mouvement, le timing, la continuité et les contraintes de génération vidéo.