AI Engineering Tools

Generative-AI-Engineering

Begriffe des AI-Kontext-Engineerings

Lernen Sie, wie Sie Budgets erstellen, Ressourcen zusammenstellen, Anweisungen ordnen, komprimieren, zwischenspeichern und verfolgen, um zuverlässige AI-Anfragen zu erstellen.

16 Begriffe

Umfang und Budget

Kontext-Engineering

Context engineering

Bedeutung

Gestaltung der gesamten Informationsumgebung, die einem Modell bereitgestellt wird, einschließlich Anweisungen, abgerufenen Beweisen, Verlauf, Ergebnissen von Tools und Zustand.

Einsatz

Verwenden Sie es, wenn zuverlässiges Verhalten von der Auswahl und Anordnung von mehr als einem Prompt-Satz abhängt.

Beispiel

Fügen Sie Richtlinie, Kundenstatus, abgerufene Beweise und Ausgaberegeln in einen einzigen kontrollierten Kontext zusammen.

Umfang und Budget

Kontextbudget

Context budget

Bedeutung

Die geplante Zuweisung der verfügbaren Token auf Anweisungen, Beweismitteln, Historie, Tool-Ergebnissen und erwarteter Ausgabe.

Einsatz

Legen Sie dies fest, bevor Sie lange Dokumente hinzufügen, damit wichtige Anweisungen und der Ausgabebereich nicht verdeckt werden.

Beispiel

Reservieren Sie 2.000 Token für die Antwort und verteilen Sie das verbleibende Budget auf Richtlinien, Beispiele und abgerufene Abschnitte.

Umfang und Budget

Arbeitskontext

Working context

Bedeutung

Die Teilmenge der verfügbaren Informationen, die aktiv für den aktuellen Schritt des Modells bereitgestellt wird.

Einsatz

Verwenden Sie es, um aktuelle Eingaben von Informationen zu unterscheiden, die anderswo im Speicher oder in Quellsystemen gespeichert sind.

Beispiel

Fügen Sie für diesen Schritt den genehmigten Entwurf und die Quellhinweise ein, lassen Sie aber frühere Brainstorming-Sitzungen weg.

Montage und Vertrauen

Kontextgenerierung

Context assembly

Bedeutung

Sammeln ausgewählter Anweisungen, Zustände, Beweise, Beispiele und Tool-Ausgaben in der Modell-Eingabe.

Einsatz

Verwenden Sie eine deterministische Assembly-Richtlinie, sodass jede Anfrage die erforderlichen Teile in einem bekannten Format erhält.

Beispiel

system rules -> verified user state -> retrieved evidence -> current request -> output contract

Montage und Vertrauen

Kontext-Hierarchie

Context hierarchy

Bedeutung

Die Präzedenzbeziehung zwischen Systemregeln, Anweisungen, Benutzereingaben und nicht vertrauenswürdigen Inhalten.

Einsatz

Machen Sie die Autoritätsgrenzen explizit, wenn Eingaben in Konflikt stehen oder eingebettete Anweisungen enthalten können.

Vorsicht

Hierarchie-Labels helfen der Anwendung, das Vertrauen zu bewerten, aber sicherheitsrelevante Berechtigungen müssen weiterhin außerhalb des Modells durchgesetzt werden.

Beispiel

Behandeln Sie Text von abgerufenen Webseiten als Beweis und niemals als Erlaubnis, Systemregeln zu außer Kraft setzen.

Montage und Vertrauen

Kontext-Reihenfolge

Context ordering

Bedeutung

Die Reihenfolge, in der Anweisungen, Quellmaterial, Beispiele und die aktuelle Frage erscheinen.

Einsatz

Testen Sie die Reihenfolge mit repräsentativen Eingaben, da die Position beeinflussen kann, welche Informationen das Modell hervorhebt.

Beispiel

Platzieren Sie die lange Quelle zuerst, gefolgt von der genauen Frage und dem erforderlichen Ausgabeformat.

Montage und Vertrauen

Gesprächsverlauf

Conversation history

Bedeutung

Frühere Benutzer- und Assistentennachrichten werden beibehalten, um die Kontinuität über mehrere Interaktionen hinweg zu gewährleisten.

Einsatz

Fügen Sie nur Informationen hinzu, die für die aktuelle Anfrage relevant, autorisiert und noch gültig sind.

Vorsicht

Lange Historien können veraltete Anweisungen oder unnötige persönliche Daten enthalten.

Beispiel

Behalten Sie die bestätigten Anforderungen und entfernen Sie veraltete Entwürfe, bevor Sie zum nächsten Generation Schritt übergehen.

Montage und Vertrauen

Kontext-Provenienz

Context provenance

Bedeutung

Metadaten-Aufzeichnung, woher jedes Kontextelement stammt, wann es abgerufen wurde und wie es verwendet werden kann.

Einsatz

Verwenden Sie es, wenn Beweise zitiert, aktualisiert, zugriffsbeschränkt oder überprüft werden müssen.

Beispiel

Fügen Sie der jeweiligen Passage die Quell-ID, die Dokumentversion, das Datum der Abrufung (retrieved_at), den Zugriffsbereich und den Chunk-Speicherort hinzu.

Kapazität für langen Kontext

Langer Kontext

Long context

Bedeutung

Eine Eingabe, die eine große Menge an Text oder Multimaterialien innerhalb der unterstützten Kontextkapazität eines Modells enthält.

Einsatz

Verwenden Sie es, wenn die Aufgabe tatsächlich eine breite Quellenabdeckung benötigt und das reine Abrufen nützliche Beziehungen entfernen würde.

Vorsicht

Mehr Kontext garantiert nicht, dass jedes Detail korrekt verwendet wird; bewerten Sie den Abruf und die Schlussfolgerung anhand realistischer Beispiele.

Beispiel

Analysieren Sie den gesamten Vertragsbestand und listen Sie dann widersprüchliche Klauseln mit Dokument- und Abschnittsreferenzen auf.

Kapazität für langen Kontext

Kontext-Überlauf und -Beschneidung

Context overflow and truncation

Bedeutung

Ein Zustand, bei dem die angeforderte Eingabe und Ausgabe die Kapazität übersteigen, was zu einer Ablehnung oder Entfernung von Inhalten führt.

Einsatz

Erkennen Sie dies vor der Inferenz und wenden Sie eine explizite Richtlinie zum Beschneiden, Zusammenfassen, Abrufen oder Aufteilen von Aufgaben an.

Vorsicht

Eine stille Kürzung kann die genaue Anweisung oder den Beweis entfernen, der für eine korrekte Antwort benötigt wird.

Beispiel

Wenn die Eingabe das Budget überschreitet, behalten Sie die Systemregeln und die letzte Anfrage bei und rufen Sie dann die relevantesten Beweise ab.

Kapazität für langen Kontext

Lost-in-the-middle-Effekt

Lost-in-the-middle effect

Bedeutung

Eine Tendenz, dass relevante Informationen, die in einer langen Eingabe versteckt sind, weniger zuverlässig verwendet werden als prominente Informationen.

Einsatz

Testen Sie wichtige Beweise an verschiedenen Positionen und verbessern Sie die Wiederherstellung, Reihenfolge, Beschriftungen oder die Abfrageplatzierung, wenn Fehler auftreten.

Beispiel

Bewertung derselben Informationen am Anfang, in der Mitte und am Ende anstatt sich auf eine einzige Position zu verlassen.

Optimierung und Wiederverwendung

Kontext-Beschneidung

Context pruning

Bedeutung

Entfernen irrelevanter, doppelter, abgelaufener oder minderwertiger Elemente, bevor die Anfrage gesendet wird.

Einsatz

Verwenden Sie es, um Aufmerksamkeit und Budget für wichtige Anweisungen und Beweise zu reservieren.

Beispiel

Verwerfen Sie doppelte Suchergebnisse und Nachrichten, die durch die endgültige Entscheidung des Benutzers ersetzt wurden.

Optimierung und Wiederverwendung

Kontextkomprimierung

Context compression

Bedeutung

Darstellung des Ausgangsmaterials in einer kürzeren Form unter Beibehaltung der für die Aufgabe benötigten Informationen.

Einsatz

Verwenden Sie strukturierte Zusammenfassungen, wenn der vollständige Quelltext zu groß ist, und behalten Sie Links zu den ursprünglichen Beweisen bei.

Vorsicht

Die Komprimierung kann Nuancen verlieren oder Fehler verursachen, daher sollten wichtige Aussagen anhand der Originalquelle überprüft werden.

Beispiel

Komprimieren Sie jedes Meeting in Entscheidungen, Verantwortliche, Fristen, ungelöste Probleme und Zeitstempel der Quelle.

Optimierung und Wiederverwendung

Wiederverwendbares Prompt-Präfix

Reusable prompt prefix

Bedeutung

Ein stabiler, führender Abschnitt mit Anweisungen oder Referenzmaterial, der bei wiederholten Anfragen verwendet wird.

Einsatz

Halten Sie stabile Inhalte zusammen, wenn der Anbieter oder die Laufzeit effizient identische Präfixe wiederverwenden kann.

Beispiel

Platzieren Sie die genehmigte Richtlinie und das Schema zuerst; fügen Sie anschließend die anfragebezogenen Beweise und Fragen hinzu.

Optimierung und Wiederverwendung

Kontext-Caching

Context caching

Bedeutung

Wiederverwendung zuvor verarbeiteter Eingabe-Token oder gespeicherter Kontextdaten für spätere Anfragen, sofern von der Plattform unterstützt.

Einsatz

Verwenden Sie es für wiederholte Fragen zu denselben großen Anweisungen, Dokumenten, Medien oder Codebasen.

Vorsicht

Das Verhalten, die Mindestgröße, die Lebensdauer, die Preisgestaltung und die Ungültigkeitserklärung des Caches variieren je nach Anbieter und Modell.

Beispiel

Zwischenspeichern Sie den Policy-Korpus einmal und senden Sie dann kürzere, fallspezifische Fragen.

Optimierung und Wiederverwendung

Cache-Treffer und Cache-Fehler

Cache hit and cache miss

Bedeutung

Ein Cache-Treffer verwendet einen geeigneten vorherigen Kontext; ein Cache-Fehler erfordert, dass die Eingabe erneut verarbeitet wird.

Einsatz

Beide Ergebnisse messen, wenn die Latenz und die Kosten für Workloads mit wiederholten Präfixen geschätzt werden.

Beispiel

Verfolgen Sie die zwischengespeicherten Eingabe-Token und die Fehlerrate nach Prompt-Version nach der Bereitstellung.

Auswahl einer Kontextstrategie

Verwenden Sie den kleinsten Ansatz, der die Beweise und Beziehungen erhält, die die Aufgabe tatsächlich benötigt.

SituationAnsatz, der berücksichtigt werden soll
Einige kurze, direkt relevante FaktenPlatzieren Sie sie direkt im Arbeitskontext.
Eine große Sammlung mit nur wenigen relevanten Abschnitten.Rufen Sie ausgewählte Beweise ab, ordnen Sie diese an und fügen Sie sie zusammen.
Die gleiche große Datenquelle wird wiederholt abgefragt.Bewertung von Langtexten mit Kontext-Caching
Der Verlauf enthält duplizierte oder veraltete Informationen.Beschneiden und eine quellverknüpfte, strukturierte Zusammenfassung erstellen.

Häufig gestellte Fragen

Ist Kontext-Engineering dasselbe wie Prompt-Engineering?

Nein. Prompt Engineering konzentriert sich auf Anweisungen und die Struktur des Prompts. Context Engineering steuert auch, welche Beweise, Historien, Zustände, Ergebnisse von Tools und wiederverwendbare Materialien für jeden Modellschritt ausgewählt und angeordnet werden.

Soll jedes verfügbare Dokument in einem langen Kontext platziert werden?

Normalerweise nicht. Unnötiger Inhalt erhöht die Kosten und die Latenz und kann es erschweren, wichtige Informationen zu nutzen. Vergleichen Sie direkte Kontextinformationen, Retrieval, Beschneidung, Komprimierung und Caching bei repräsentativen Aufgaben.

Garantiert ein größerer Kontextbereich eine bessere Antwort?

Nein. Die Kapazität definiert nur, was hineinpasst. Die Genauigkeit hängt weiterhin von Relevanz, Reihenfolge, Vertrauensgrenzen, Modellverhalten und Bewertung mit realistischen Fällen ab.

Offizielle Referenzen

Verwandte Begriffsguides