AI Engineering Tools

Generative-AI-Engineering

Begriffe zu RAG und Dokumentensuche

Lernen Sie die Ingestion-, Indexierungs-, Abruf-, Ranking-, Verankerungs-, Zitations- und RAG-Prompt-Muster, die verwendet werden, um überprüfbare AI-Antworten aus vertrauenswürdigen Dokumenten zu erstellen.

19 Begriffe

Übersicht

Retrieval-erweiterte Generierung (RAG)

Retrieval-augmented generation (RAG)

Bedeutung

Ein Muster, das relevante externe Informationen abruft und diese vor der Generierung an ein Modell liefert.

Einsatz

Verwenden Sie es, wenn Antworten auf aktuelle, private oder domänenspezifische Dokumente basieren sollten.

Beispiel

Rufen Sie Richtlinienabschnitte für die Frage ab und beantworten Sie dann nur mit diesen Abschnitten.

Aufnahme

Chunking

Chunking

Bedeutung

Aufteilen von Dokumenten in kleinere Einheiten, die indiziert und abgerufen werden können.

Einsatz

Wählen Sie Chunk-Grenzen, die die Bedeutung erhalten, während die Abrufe auf das Wesentliche beschränkt bleiben.

Beispiel

Teilen Sie das Handbuch nach Abschnitten auf und behalten Sie jede Überschrift mit ihren Absätzen.

Indexierung

Einbettung

Embedding

Bedeutung

Ein numerischer Vektor, der semantische Merkmale von Text oder anderen Inhalten darstellt.

Einsatz

Verwenden Sie Einbettungen, um die semantische Ähnlichkeit über exakte Keyword-Übereinstimmungen hinaus zu vergleichen.

Beispiel

Erstellt Einbettungen für jedes Dokument und für die Benutzerabfrage.

Indexierung

Vektorspeicher

Vector store

Bedeutung

Ein System, das Embeddings speichert und die Suche nach den nächsten Nachbarn unterstützt.

Einsatz

Verwenden Sie es, um semantische Indizes und zugehörige Dokumentmetadaten zu verwalten.

Beispiel

Speichern Sie jeden Chunk-Vektor zusammen mit seiner Quell-URL, seinem Titel und seinem Zugriffsbereich.

Abruf

Ähnlichkeitssuche

Similarity search

Bedeutung

Abruf basierend darauf, wie nah Vektorrepräsentationen unter Verwendung einer gewählten Distanzmetrik liegen.

Einsatz

Verwenden Sie es, um Abschnitte mit einer Bedeutung zu finden, die mit der Abfrage zusammenhängt.

Beispiel

Suche im Vektor-Speicher nach Abschnitten, die dem Query-Embedding am nächsten liegen.

Abruf

Abrufer

Retriever

Bedeutung

Die Komponente, die Kandidatendokumente oder -fragmente für eine Abfrage auswählt.

Einsatz

Konfigurieren Sie es so, dass es die Abfrageumschreibung, Filter, Suchmethoden und Ergebnisgrenzen kombiniert.

Beispiel

Der Retriever gibt Richtlinien-Chunks zurück, auf die der aktuelle Benutzer Zugriff hat.

Abruf

Top-k

Top-k

Bedeutung

Die Anzahl der Ergebnisse mit der höchsten Rangfolge, die für die nächste Phase ausgewählt werden.

Einsatz

Optimieren Sie ihn, um die Abdeckung von Beweisen gegen Rauschen und Kontextnutzung abzuwägen.

Beispiel

Rufen Sie die 8 besten Kandidaten ab, ordnen Sie diese dann neu und behalten Sie die 4 besten.

Abruf

Metadaten-Filter

Metadata filter

Bedeutung

Eine Einschränkung, die die Suche anhand von Attributen wie Datum, Produkt, Sprache oder Berechtigungen verfeinert.

Einsatz

Verwenden Sie es vor der semantischen Rangfolge, um den Umfang und die Zugriffskontrolle durchzusetzen.

Beispiel

Filter für koreanische Dokumente, die nach 2025 veröffentlicht wurden und die der Benutzer einsehen kann.

Abruf

Hybrides Suchen

Hybrid search

Bedeutung

Eine Suchmethode, die lexikalische Schlüsselwortsignale mit semantischen Vektorsignalen kombiniert.

Einsatz

Verwenden Sie es, wenn sowohl exakte Identifikatoren als auch konzeptionelle Ähnlichkeit wichtig sind.

Beispiel

Kombinieren Sie BM25-Schlüsselwortergebnisse mit Embedding-Ähnlichkeit für den Fehlercode AB-104.

Ranking

Neu-Bewertung

Reranking

Bedeutung

Ein Modell oder eine Regel der zweiten Stufe, die abgerufene Kandidaten für die Relevanz neu ordnet.

Einsatz

Verwenden Sie es, um die Genauigkeit zu verbessern, nachdem ein breiterer Kandidatensatz gesammelt wurde.

Beispiel

Bewerten Sie 20 Kandidaten-Chunks neu und senden Sie die 5 besten an den Generator.

Fundierte Antwort

Fundierung

Grounding

Bedeutung

Verknüpfung einer generierten Antwort mit den bereitgestellten oder abgerufenen Beweisen.

Einsatz

Verwenden Sie es, um unbegründete Aussagen zu reduzieren und die Antwort nachvollziehbar zu machen.

Beispiel

Antworten Sie nur mit Aussagen, die durch die abgerufenen Richtlinienausschnitte gestützt werden.

Fundierte Antwort

Zitat

Citation

Bedeutung

Eine Referenz, die die Quelle identifiziert, die eine Aussage stützt.

Einsatz

Fügen Sie Zitate auf der Ebene der Aussage hinzu, damit Leser die Beweise schnell überprüfen können.

Vorsicht

Eine Zitation kann immer noch auf irrelevante Beweise verweisen; überprüfen Sie, ob sie die Aussage tatsächlich unterstützt.

Beispiel

Fügen Sie für jeden Richtlinienanspruch den Dokumenttitel, den Abschnitt und den direkten Quelllink hinzu.

RAG-Prompt-Muster

Prompt zur Abfrageumschreibung

Query rewriting prompt

Bedeutung

Eine Anweisung, die eine Benutzeranfrage in eine oder mehrere Abfragen umwandelt, die besser für die Keyword-, semantische, hybride oder gefilterte Suche geeignet sind.

Einsatz

Verwenden Sie es für vage, konversationelle, unvollständige oder fachlich nicht passende Fragen, wobei die ursprüngliche Absicht erhalten bleibt.

Vorsicht

Ändern Sie nicht stillschweigend die Absicht des Benutzers, fügen Sie nicht unterstützte Fakten hinzu oder schwächen Sie Zugrifffilter nicht ab.

Beispiel

Formulieren Sie die Frage für die Hybridsuche um. Behalten Sie die ursprüngliche Absicht bei, fügen Sie wahrscheinliche Dokumentterminologien hinzu und geben Sie die ursprüngliche Frage sowie bis zu drei umformulierte Abfragen zurück.

RAG-Prompt-Muster

Anweisung zur fundierten Antwort

Grounded-answer instruction

Bedeutung

Eine Prompt-Regel, die erfordert, dass faktische Aussagen durch abgerufene Passagen gestützt werden, die dem Generierungsschritt zugeführt werden.

Einsatz

Verwenden Sie es, wenn Antworten überprüfbar sein müssen und nicht-unterstütztes Modellwissen nicht als Beweis dargestellt werden darf.

Beispiel

Beantworten Sie die Frage unter Verwendung der bereitgestellten Abschnitte. Fügen Sie der jeweiligen faktischen Aussage die entsprechende Quell-ID hinzu und kennzeichnen Sie eindeutig alle Schlussfolgerungen.

RAG-Prompt-Muster

Kontext-basierte Antworten

Context-only answering

Bedeutung

Eine strenge Generierungsregel, die die Antwort auf Informationen beschränkt, die explizit im bereitgestellten Kontext enthalten sind.

Einsatz

Verwenden Sie es für Richtlinien, Verträge, regulierte Inhalte oder andere Aufgaben, bei denen externes Modellwissen keine Lücken füllen darf.

Vorsicht

Diese Regel kann schlechte, unvollständige, veraltete oder unautorisierte Abrufergebnisse nicht kompensieren.

Beispiel

Verwenden Sie nur <retrieved_context>. Wenn der Kontext die Antwort nicht enthält, geben Sie "insufficient_evidence" zurück, anstatt vorhandenes Wissen zu verwenden.

RAG-Prompt-Muster

Keine Antwort und Ausweichung

No-evidence response and abstention

Bedeutung

Eine definierte Fallback-Antwort, die verwendet wird, wenn keine Beweise gefunden werden oder diese unzureichend, widersprüchlich oder unterhalb eines Schwellenwerts liegen.

Einsatz

Verwenden Sie es, um unbegründete Vermutungen zu vermeiden und den Fall zur Klärung, zu einem weiteren Abrufversuch oder zur menschlichen Überprüfung weiterzuleiten.

Beispiel

Wenn kein Absatz die Antwort direkt unterstützt, geben Sie den Status "insufficient_evidence" zurück, erklären Sie, was fehlt, und schlagen Sie eine klärende Frage vor.

RAG-Prompt-Muster

Anweisung zum Zitierformat

Citation format instruction

Bedeutung

Ein Prompt-Vertrag, der festlegt, wo und wie Kennungen in einer generierten Antwort erscheinen müssen.

Einsatz

Verwenden Sie es, um Referenzen auf Anspruchniveau zu erstellen, die Anwendungen und Prüfer konsistent validieren können.

Vorsicht

Das Formatieren einer Zitation beweist nicht, dass der zitierte Text die Behauptung unterstützt; überprüfen Sie die Korrektheit der Zitation separat.

Beispiel

Zitieren Sie nach jedem unterstützten Satz eine oder mehrere abgerufene IDs im Format [S1]. Erfinden Sie keine IDs und zitieren Sie keine Quelle, die den Satz nicht unterstützt.

RAG-Prompt-Muster

Kontext-Synthese durch Abruf

Retrieved-context synthesis

Bedeutung

Kombinieren von komplementären Beweisen aus mehreren abgerufenen Abschnitten zu einer kohärenten Antwort, ohne die Quellenangaben zu entfernen.

Einsatz

Verwenden Sie es für Vergleiche, Zusammenfassungen oder mehrteilige Fragen, die mehr als einen Textabschnitt erfordern.

Beispiel

Gruppieren Sie Textabschnitte nach Unterfrage, entfernen Sie Duplikate, behalten Sie Daten und Umfang bei und synthetisieren Sie dann die Antwort mit Quell-IDs auf Anspruchebene.

RAG-Prompt-Muster

Umgang mit Konflikten aus verschiedenen Quellen

Conflicting-source handling

Bedeutung

Eine Prompt-Regel zur Erkennung und Meldung von Widersprüchen zwischen abgerufenen Quellen anstatt, einfach eine davon auszuwählen.

Einsatz

Verwenden Sie es, wenn Dokumente sich in Version, Datum, Rechtssprechung, Autorität oder Interpretation unterscheiden können.

Vorsicht

Allein die Aktualität bestimmt nicht immer die Autorität; kodieren Sie die Quellprioritätsrichtlinie des Bereichs außerhalb oder zusammen mit dem Prompt.

Beispiel

Wenn Quellen widersprechen, listen Sie jeden Anspruch mit seiner Quelle, Version und seinem Datum auf; identifizieren Sie den Konflikt; wenden Sie eine explizite Autoritätsregel an oder fordern Sie eine Überprüfung an.

RAG-Prompt-Fluss

Die Qualität des Abrufs und die Generierungsanweisungen müssen gemeinsam entworfen und bewertet werden; ein Prompt kann fehlende oder unautorisierte Beweise nicht beheben.

PhasePrompt-Verantwortung
Vor dem AbrufDie ursprüngliche Absicht beibehalten, während die Abfrage umgeschrieben, erweitert, gefiltert oder zerlegt wird.
KontextgenerierungBeschriften Sie Quell-IDs, Versionen, Daten, Berechtigungen und Absatzgrenzen.
AntwortgenerierungBeschränken Sie Behauptungen auf Beweise, definieren Sie das Zitierformat und geben Sie das Verhalten bei Nichtauskunft an.
Nach der GenerierungValidieren Sie die Unterstützung von Behauptungen, die Korrektheit von Zitaten, Konflikte, Vollständigkeit und die Einhaltung der Zugriffsrichtlinien.

Häufig gestellte Fragen

Kann ein strikt kontextbezogener Prompt eine faktisch korrekte Antwort garantieren?

Nein. Es reduziert den zulässigen Umfang der Beweise, aber die Antwort kann immer noch Textabschnitte falsch interpretieren, inkompatible Quellen kombinieren, falsche Zitate hinzufügen oder sich auf schlechte Suchergebnisse verlassen. Validieren Sie den Sucherinnerungsgrad, die Unterstützung von Aussagen, die Korrektheit von Zitaten und das Ausweichverhalten.

Wann sollte ein RAG-System eine Antwort verweigern, anstatt eine Antwort zu geben?

Enthaltung, wenn keine autorisierte Passage die erforderliche Aussage direkt unterstützt, der Nachweis unterhalb des definierten Schwellenwerts liegt, Quellen widersprechen ohne eine Autoritätsregel oder die Frage zu vage ist, um sie sicher abzurufen. Geben Sie einen strukturierten Grund und die nächste nützliche Aktion zurück.

Soll ein RAG-Prompt nach Quellenangaben fragen?

Ja, wenn Benutzer oder nachgelagerte Systeme Behauptungen überprüfen müssen, aber die Anwendung muss echte Quellidentifikatoren beibehalten und sicherstellen, dass jeder zitierte Abschnitt die nahegelegene Behauptung unterstützt. Das Modell darf niemals Quell-IDs erfinden.

Offizielle Referenzen