Generative-AI-Engineering
Lernen Sie, wie Sie Testfälle für Prompts erstellen, kontrollierte Varianten vergleichen, Fehler analysieren, Regressionen verhindern und Qualität, Latenz und Kosten ausgleichen.
16 Begriffe
Testdaten
Prompt test case
Eine definierte Eingabe, ein Kontext, ein erwartetes Verhalten und eine Bewertungsregel, die verwendet werden, um einen Prompt zu überprüfen.
Erstellt Fälle für normale Anfragen, Grenzbedingungen, mehrdeutige Eingaben und erwartete Ablehnungen.
Eingabe: Fehlende Konto-ID; erwartetes Verhalten: Fordern Sie die ID an, anstatt eine zu erfinden.Testdaten
Golden dataset
Eine geprüfte Sammlung von repräsentativen Testeingaben und vertrauenswürdigen erwarteten Ergebnissen oder Bewertungshinweisen.
Verwenden Sie es, um Prompt-Änderungen konsistent über verschiedene Versionen hinweg zu vergleichen.
Aktualisieren Sie den Datensatz, wenn sich die tatsächliche Nutzung ändert, während ein stabiler Regressions-Subset beibehalten wird.
Behalten Sie 200 überprüfte Supportfälle mit erwarteter Kategorie, erforderlichen Fakten und verbotenen Aussagen.Experimente
Baseline prompt
Der aktuelle oder einfachste Prompt, der als Referenzpunkt für Vergleiche dient.
Zeichnen Sie dies auf, bevor Sie die Optimierung durchführen, damit die behaupteten Verbesserungen messbar sind.
Baseline v12 verwendet das Produktionsmodell, Standardparameter und unveränderte Abrufeinstellungen.Experimente
Prompt variant
Eine alternative Formulierung, Struktur, ein Beispielset, ein Modell oder eine Inferenzkonfiguration, die im Vergleich zu einer Baseline getestet wird.
Namen und Versionsvarianten, damit Ergebnisse reproduziert und sicher verbreitet werden können.
Variante B verschiebt die Einschränkungen nach der Quelle und fügt ein negatives Beispiel hinzu.Experimente
Controlled experiment
Ein Vergleich, bei dem ein beabsichtigter Faktor geändert wird, während relevante Eingaben und Einstellungen konstant bleiben.
Verwenden Sie es, um eine beobachtete Differenz auf die Änderung des Prompts und nicht auf das Modell, die Daten oder die Stichprobenziehung zurückzuführen.
Ändern Sie nur die Formulierung der Anweisung; behalten Sie den Datensatz, die Modellversion, die Temperatur und den Evaluator unverändert.Experimente
A/B test
Ein Experiment, das zwei Versionen von Prompts oder Konfigurationen mit vergleichbarem Datenverkehr oder Testbeispielen vergleicht.
Verwenden Sie es nach Offline-Prüfungen, wenn das Produktionsverhalten und die Benutzerergebnisse verglichen werden müssen.
Schützen Sie Benutzer mit Berechtigungsregeln, Überwachung und Abbruchbedingungen; geben Sie keine Workflows mit hohem Risiko ohne Überprüfung weiter.
Leiten Sie berechtigte Anfragen zufällig an A oder B weiter und vergleichen Sie den Erfolg der Aufgabe, Korrekturen, Latenz und Kosten.Experimente
Prompt ablation
Entfernen oder Ersetzen einer Prompt-Komponente, um ihren Beitrag zu messen.
Verwenden Sie es, um unnötige Anweisungen, Beispiele oder Kontext zu identifizieren, die Kosten verursachen, ohne die Qualität zu verbessern.
Entfernen Sie das dritte Beispiel, während alle anderen Komponenten unverändert bleiben.Bewertung
Batch evaluation
Ausführen eines Prompts über viele vorbereitete Fälle und Aggregieren der Ergebnisse pro Fall und insgesamt.
Verwenden Sie es vor manuellen Stichprobenprüfungen, die fälschlicherweise als repräsentative Leistung interpretiert werden.
Führen Sie alle Prompt-Varianten auf dem festen Evaluationsdatensatz aus und exportieren Sie die fehlgeschlagenen Fälle einzeln.Bewertung
Prompt regression
Ein Verhalten, das zuvor funktioniert hat, aber nach einer Änderung von Prompt, Modell, Abruf, Tool oder Richtlinie schlechter wird.
Verfolgen Sie dies mit einer stabilen Testsuite und vergleichen Sie die Ergebnisse vor jeder Veröffentlichung.
Das neue, prägnante Format verbesserte die Länge, schloss aber die erforderlichen Quell-IDs nicht mehr ein.Zuverlässigkeit
Robustness test
Ein Test, ob akzeptables Verhalten unter realistischen Bedingungen, Rauschen, verschiedenen Sprachen und Sonderfällen gegeben ist.
Verwenden Sie Umschreibungen, neu angeordnete Inhalte, Tippfehler, fehlende Felder und absichtlich verwirrende Eingaben.
Testen Sie die gleiche Absicht mit formaler, gesprächsorientierter, falsch geschriebener und mehrsprachiger Formulierung.Zuverlässigkeit
Sensitivity test
Ein Test, der misst, wie stark sich die Ausgaben ändern, wenn sich eine kleine Eingabe oder ein Konfigurationsdetail ändert.
Verwenden Sie es für die Formulierung, die Reihenfolge der Beispiele, die Temperatur, die Kontextplatzierung und Änderungen der Modellversion.
Verschieben Sie denselben Beweis vom Anfang in die Mitte und vergleichen Sie die Genauigkeit der Zitate.Zuverlässigkeit
Failure taxonomy
Eine konsistente Menge von Kategorien, die verwendet werden, um Fehler in Anfragen zu kennzeichnen und zu analysieren.
Definieren Sie dies, bevor Sie umfangreiche Bewertungen durchführen, damit Teams die Ursachen priorisieren können, anstatt nur Fehler zu zählen.
Beschriftungen: Fehlende Tatsache, nicht unterstützte Aussage, Schemafehler, falsches Tool, unsichere Offenlegung, übermäßige Latenz.Bewertung
Acceptance threshold
Eine vordefinierte Bewertung oder Regel, die eine Prompt-Version erfüllen muss, bevor sie veröffentlicht wird.
Legen Sie Schwellenwerte anhand des Risikos fest und berücksichtigen Sie Fälle, die nicht fehlschlagen dürfen, anstatt sich nur auf Durchschnittswerte zu verlassen.
Veröffentlichen Sie nur, wenn die Genauigkeit der Pflichtfelder mindestens 98 % beträgt und kein kritischer Datenschutzfall vorliegt.Bewertung
Model and parameter matrix
Ein geplantes Raster, das Prompts über verschiedene Modellversionen und Inferenz-Einstellungen vergleicht.
Verwenden Sie es, wenn ein Prompt nach der Migration des Modells oder nach Parameteränderungen möglicherweise anders funktioniert.
Bewertung von Prompt v8 auf Modell A und B bei zwei unterstützten Temperatureinstellungen.Effizienz
Quality, latency, and cost comparison
Eine gemeinsame Bewertung der Aufgabenqualität, der Antwortzeit und der Ressourcenauslastung für jeden Kandidaten.
Verwenden Sie es, um die Auswahl eines leicht besseren Prompts zu vermeiden, der zu langsam oder zu teuer für seine Arbeitslast ist.
Vergleichen Sie die Erfolgsrate, die Latenz von p95, die Anzahl der Eingabetoken, die Anzahl der Ausgabetoken und die geschätzten Kosten pro erfolgreiche Aufgabe.Effizienz
Prompt optimization loop
Ein iterativer Zyklus aus der Definition von Zielen, dem Testen einer Baseline, der Analyse von Fehlern, der Änderung des Prompts und dem erneuten Testen.
Verwenden Sie kleine, evidenzbasierte Änderungen und behalten Sie versionierte Ergebnisse bei jeder Iteration.
Define metric -> run baseline -> label failures -> change one component -> rerun -> review regressions.| Schritt | Erforderliche Beweise |
|---|---|
| Definieren Sie das Ziel. | Benutzerergebnis, Qualitätskriterien, Risiko, Latenz und Kostengrenzen |
| Grundlinie festlegen | Versionierter Prompt, Modell, Einstellungen, Datensatz und Ergebnisse pro Fall. |
| Eine Änderung testen | Kontrollierte Variante, wiederholte Durchläufe bei Bedarf und Fehlerkennzeichnungen |
| Veröffentlichen oder verwerfen | Akzeptanzschwellenwerte, Regressionsprüfung, menschliche Genehmigung und Rollback-Plan |
Einige Beispiele können häufige Fehler, Randfälle, Variationen und Regressionen verpassen. Verwenden Sie repräsentative Fälle, stabile Bewertungsregeln, eine Fall-spezifische Überprüfung und Batch-Ergebnisse, bevor Sie Schlussfolgerungen ziehen.
Nein. Wählen Sie Metriken, die die Aufgabe widerspiegeln, einschließlich der erforderlichen Fakten, der Fundiertheit, der Gültigkeit des Formats, der Sicherheit, der Robustheit, der Latenz, der Token-Nutzung, der Kosten und des Aufwands für die menschliche Korrektur.
Bei einer kausalen Diagnose sollte jeweils nur ein Hauptfaktor geändert werden. Umfassendere Vergleiche können mehrere Komponenten ändern, zeigen aber, welcher vollständige Kandidat gewinnt, anstatt welche Komponente den Unterschied verursacht.
Offizielle Richtlinien, die Prompt Engineering als einen testgetriebenen, iterativen Workflow mit definierten Zielen und systematischer Bewertung beschreiben.
Offizielle Anleitung zum Testen von kontrollierten Prompt-Varianten auf repräsentativen Daten und zum Vergleichen messbarer Ergebnisse.
Beginnen Sie mit expliziten Anweisungen, Beispielen, Einschränkungen, Ausgabeschemata und detaillierten Arbeitsabläufen.
Verbinden Sie experimentelle Ansätze, die auf bestimmten Eingabeaufforderungen basieren, mit der allgemeinen Systemqualität, der menschlichen Überprüfung, den Benchmarks und den Betriebskennzahlen.
Versionierte Kandidaten und Förderung nur der genehmigten, unveränderlichen Revision.
Fügen Sie Prompt-Injection, Datenschutz, schädliche Inhalte, Fairness und Red-Team-Fälle in die Teststrategie ein.