Generative-AI-Engineering
Lernen Sie, wie Sie AI-Anfragen strukturieren, verankern, vergleichen und verifizieren, die Text mit Bildern, Dokumenten, Audio oder Video kombinieren.
17 Begriffe
Medien-Eingaben
Multimodal prompt
Eine Anfrage, die Text mit einem oder mehreren Medientypen wie Bildern, Dokumenten, Audio oder Video kombiniert.
Verwenden Sie es, wenn die Aufgabe Informationen erfordert, die über mehrere Modalitäten verteilt sind.
Vergleichen Sie das Diagrammbild mit der schriftlichen Prognose und identifizieren Sie unterstützte und widersprüchliche Aussagen.Medien-Eingaben
Image input
Ein Foto, Screenshot, Scan, Diagramm oder ein anderes Bild, das für die Analyse des Modells bereitgestellt wird.
Geben Sie das genaue sichtbare Attribut oder den sichtbaren Bereich an, den das Modell untersuchen soll.
Im angehängten Screenshot, lesen Sie nur das Fehlerbanner und listen Sie seinen Code und seine Meldung auf.Medien-Eingaben
Document input
Eine Datei wie eine PDF-Datei, eine Präsentationsdatei oder ein Bericht, die sowohl Text- als auch visuelle Strukturen enthält.
Geben Sie an, ob die Aufgabe Seitenzugriffe, Abschnittsverweise, Tabellen oder Fußnoten beibehalten muss.
Zahlungsbedingungen aus dem Vertrag extrahieren und für jeden Punkt die Seite und den Abschnitt angeben.Medien-Eingaben
Audio input
Sprache, Musik, Umgebungsgeräusche oder eine andere Audioaufnahme, die für die Transkription oder Analyse bereitgestellt wird.
Definieren Sie die Sprache, das Sprecher-Label, den Zeitstempel und die Anforderungen an die Unsicherheit vor der Transkription.
Transkribieren Sie das koreanische Meeting, kennzeichnen Sie die Sprecher, wenn sie unterscheidbar sind, und geben Sie für jede Entscheidung einen Zeitstempel an.Medien-Eingaben
Video input
Eine zeitbasierte visuelle Eingabe, die auch Sprache, Text, Bewegung und Szenenwechsel enthalten kann.
Bitten Sie um zeitliche Beweise und unterscheiden Sie, was gesehen, gehört oder abgeleitet wird.
Geben Sie bei jeder Szenenwechsel den Zeitstempel, die sichtbare Aktion und die gesprochene Aussage an.Prompt-Struktur
Interleaved input
Eine Sequenz, bei der Text und Medien abwechselnd angeordnet sind, sodass Anweisungen oder Beschriftungen in der Nähe des relevanten Elements angezeigt werden.
Verwenden Sie es für Vergleiche, schrittweise Demonstrationen oder Anfragen, die mehrere Medienobjekte beinhalten.
Image A -> its question -> Image B -> its question -> final comparison criteriaPrompt-Struktur
Modality ordering
Die Reihenfolge, in der Text, Bilder, Dokumente, Audio- und Videoinhalte dargestellt werden.
Halten Sie verwandte Anweisungen in der Nähe ihrer Medien und testen Sie alternative Reihenfolgen für wichtige Arbeitsabläufe.
Stellen Sie zuerst das Bild bereit, dann die Extraktionsanweisung und schließlich das Ausgabeschema.Prompt-Struktur
Image detail and resolution
Die Menge an visuellen Details, die für das Lesen von kleinem Text, Objekten oder räumlichen Beziehungen verfügbar gemacht werden.
Verwenden Sie eine angemessene Auflösung und beschneiden Sie den relevanten Bereich, wenn feine Details wichtig sind.
Eine höhere Auflösung kann die Verarbeitungszeit erhöhen und kann dennoch keine Details wiederherstellen, die im Quellbild fehlen.
Fügen Sie einen Nahaufnahme-Ausschnitt des Serienetiketts anstelle eines entfernten Fotos des gesamten Geräts hinzu.Evidenzbasierung
Visual grounding
Verknüpfung einer Aussage oder eines extrahierten Ergebnisses mit beobachtbarem Inhalt in einem Bild oder Video.
Erfordern Sie dies, wenn Benutzer überprüfen müssen, woher eine Schlussfolgerung stammt.
Beschreiben Sie für jeden Fehler die sichtbaren Beweise und identifizieren Sie seinen ungefähren Standort.Evidenzbasierung
Region reference and bounding box
Eine textuelle, koordinatenbasierte oder rechteckige Referenz auf einen bestimmten Bereich eines Bildes.
Verwenden Sie Regionen, um wiederholte Objekte zu unterscheiden und die anschließende Überprüfung oder Annotation zu unterstützen.
Koordinierungsformate und -genauigkeiten variieren je nach Modell und API; validieren Sie diese vor der Automatisierung.
Geben Sie jedes erkannte Label mit einem normalisierten [x_min, y_min, x_max, y_max]-Feld zurück.Evidenzbasierung
Temporal reference and timestamp
Eine Zeitposition oder ein Zeitintervall, das angibt, wo ein Ereignis in Audio oder Video auftritt.
Verwenden Sie es für die Szenenanalyse, die Überprüfung von Beweismitteln, die Bearbeitung und die Transkriptausrichtung.
Listen Sie Sicherheitsvorfälle mit Startzeit, Endzeit, beobachteter Aktion und Konfidenz auf.Analyseaufgaben
OCR instruction
Eine Anfrage zur Erkennung und Transkription von sichtbarem Text aus einem Bild oder einem gescannten Dokument.
Geben Sie Sprachen, Layout-Erhaltung, Behandlung von unlesbarem Text und ob eine Normalisierung zulässig ist, an.
Transkribieren Sie den Beleg zeilenweise; verwenden Sie [nicht lesbar] anstelle von Vermutungen über fehlende Zeichen.Analyseaufgaben
Chart and table interpretation
Extrahieren von Werten, Beschriftungen, Trends und Beziehungen aus visualisierten oder tabellarischen Daten.
Bitten Sie das Modell, direkt abgelesene Werte von berechneten oder abgeleiteten Schlussfolgerungen zu trennen.
Zuerst die Legende und die Achseneinheiten extrahieren, dann die größte jährliche Veränderung angeben.Analyseaufgaben
Multi-image comparison
Analyse von Ähnlichkeiten, Unterschieden oder Änderungen in einem oder mehreren Bildern.
Beschriften Sie jedes Bild und definieren Sie stabile Vergleichskriterien, bevor Sie Schlussfolgerungen anfordern.
Vergleichen Sie Bild A und Bild B nur hinsichtlich des Layouts, des sichtbaren Textes, fehlender Bedienelemente und Farbänderungen.Analyseaufgaben
Cross-modal reasoning
Kombinieren von Beweisen aus verschiedenen Modalitäten, um eine Frage zu beantworten oder zu einer Schlussfolgerung zu gelangen.
Verwenden Sie es, wenn keine einzelne Modalität die vollständige Antwort enthält.
Verwenden Sie den gesprochenen Betrag, das Bild der Rechnung und den Text der Richtlinie, um Abweichungen zu erkennen.Evidenzbasierung
Multimodal evidence reference
Ein zitationsähnlicher Verweis auf die Seite, den Bereich, den Frame oder den Zeitstempel, der eine Antwort unterstützt.
Erfordern Sie Referenzen in überprüfbaren Ausgaben und erhalten Sie diese in späteren Workflow-Schritten.
Behauptung: Gesamtbetrag ist 48,20; Beweis: Seite 1, untere rechte Gesamtsumme; Konfidenz: hoch.Zuverlässigkeit
Unsupported visual inference
Eine Schlussfolgerung, die über das hinausgeht, was die bereitgestellten Medien sichtbar oder hörbar unterstützen.
Weisen Sie das Modell an, Unsicherheiten zu kennzeichnen und anzugeben, wenn eine Eigenschaft nicht bestimmt werden kann.
Leiten Sie keine sensiblen Merkmale, Identität, Absicht oder medizinischen Bedingungen allein anhand des Aussehens ab.
Geben Sie nur sichtbare Schäden an; schließen Sie die Ursache nicht, es sei denn, sie wird direkt im Bildmaterial gezeigt.| Multimodales Prompt-Engineering | AI-Medien-Generierungs-Prompts |
|---|---|
| Stellt Bilder, Dokumente, Audio oder Video für das Verständnis und die Analyse bereit. | Beschreibt das Bild, das Video, die Sprache, die Musik oder den Effekt, das/die generiert werden soll. |
| Konzentriert sich auf Verankerung, Regionen, Zeitstempel, Extraktion, Vergleich und Unsicherheit. | Konzentriert sich auf Motiv, Komposition, Kamera, Bewegung, Stil, Ton und negative Einschränkungen. |
Eine reine Textanfrage zur Erzeugung eines Bildes ist in der Regel ein Medien-Generierungs-Prompt. Sie wird multimodal, wenn die Anfrage auch ein Bild oder eine andere Medien-Eingabe zur Analyse, zum Vergleich, zur Bearbeitung oder zur Anleitung liefert.
Bitten Sie das Modell, direkt beobachtete Beweise von Berechnungen oder Schlussfolgerungen zu unterscheiden, eine Seite, Region, einen Frame oder einen Zeitstempel anzugeben und anzugeben, wann die Medien keine Schlussfolgerung stützen.
Eine risikobereitsige, unterstützende Nutzung kann automatisierte Prüfungen ermöglichen, aber wichtige Entscheidungen sollten die Qualität der Quelle, die Genauigkeit der Extraktion, die Unterstützung für Inferenz, den Umgang mit sensiblen Attributen und die modellspezifischen Einschränkungen überprüfen.
Offizielle Richtlinien zur Kombination von Text mit Bild- und Videoeingaben, zur Anordnung von Prompt-Teilen, zur Fehlerbehebung und zur Steuerung der Ausgabe.
Offizielle Übersicht über Prompt-Inhalte, -Struktur, -Beispiele, -Ausgabeformate, -Iteration und -Bewertung.
Überprüfen Sie Rollen, Anweisungen, Beispiele, Einschränkungen und Ausgabeschemata, bevor Sie Medieneingaben hinzufügen.
Erstellen Sie Budgets und fügen Sie große Dokumente, Audio-, Video-, Historien- und unterstützende Beweismittel zusammen.
Verwenden Sie diese separate Anleitung, wenn das Ziel darin besteht, ein Bild zu erstellen, anstatt es zu analysieren.
Verwenden Sie diese separate Anleitung für Kamera, Bewegung, Timing, Kontinuität und Videoerstellungsbeschränkungen.