Generative-AI-Engineering
Verstehen Sie Datensätze, Kriterien, menschliche und modellbasierte Bewertungen, Regressionstests und Effizienzmetriken, um die AI-Qualität zu überprüfen.
12 Begriffe
Bewertungsdaten
Ground truth
Eine vertrauenswürdige Zielantwort oder ein Label, das als Referenz für den Vergleich verwendet wird.
Verwenden Sie es für Aufgaben, bei denen korrekte Ergebnisse zuverlässig definiert werden können.
Vergleichen Sie die extrahierten Rechnungsgesamtbeträge mit den menschlich verifizierten Referenzwerten.Bewertungsdaten
Evaluation dataset
Eine kuratierte Sammlung von Fällen, die verwendet werden, um das Verhalten eines Modells oder einer Anwendung zu messen.
Fügen Sie normale, schwierige, mehrsprachige und sicherheitskritische Fälle aus der tatsächlichen Nutzung hinzu.
Erstellt einen festen Evaluationsdatensatz mit 200 anonymisierten Support-Fragen.Bewertungsdaten
Benchmark
Eine standardisierte Aufgabe oder ein Datensatz, der verwendet wird, um Systeme unter gemeinsamen Bedingungen zu vergleichen.
Verwenden Sie es für Vergleiche in eine bestimmte Richtung und validieren Sie die Ergebnisse mit Ihren eigenen Anwendungsfällen.
Vergleichen Sie die Kandidatenmodelle anhand eines öffentlichen Benchmarks und des internen Evaluationsdatensatzes.Kriterien
Metric
Eine numerische Messgröße einer ausgewählten Qualität, Sicherheit, Geschwindigkeit oder Kosteneigenschaft.
Wählen Sie Metriken, die direkt auf Benutzer- und Geschäftsanforderungen abgestimmt sind.
Verfolgen Sie die Korrektheit der Antworten, die Genauigkeit der Zitate, die Qualität der Ablehnung, die Latenz und die Kosten.Kriterien
Rubric
Eine Menge von schriftlichen Kriterien und Bewertungsebenen, die zur Beurteilung einer Ausgabe verwendet werden.
Verwenden Sie es, wenn die Qualität eine differenzierte Beurteilung erfordert, anstatt einer exakten Übereinstimmung.
Bewerten Sie die faktische Unterstützung auf einer Skala von 1 bis 5, wobei für jede Stufe Nachweise erforderlich sind.Methoden
Pointwise evaluation
Bewertung einer einzelnen Ausgabe anhand von Kriterien oder einer Referenz.
Verwenden Sie es für Pass/Fail-Prüfungen oder absolute Qualitätswerte.
Bewerten Sie diese Antwort hinsichtlich Korrektheit und Vollständigkeit, ohne Alternativen zu sehen.Methoden
Pairwise evaluation
Vergleichen von zwei Ausgaben für die gleiche Eingabe und Auswahl der besseren.
Verwenden Sie es, wenn eine relative Präferenz leichter zu beurteilen ist als ein absoluter Wert.
Wählen Sie aus den Antworten A und B, welche besser den Beweisen der Quelle entspricht.Methoden
Human evaluation
Bewertung durch Personen, oft unter Verwendung von Richtlinien und gekennzeichneten Beispielen.
Verwenden Sie geschulte Gutachter für subjektive, wirkungsvolle oder kontextabhängige Eigenschaften.
Zwei Fachexperten überprüfen die Korrektheit von medizinischen Zusammenfassungen und lösen Unstimmigkeiten.Methoden
LLM-as-a-judge
Verwendung eines Sprachmodells zur Bewertung, Rangfolge oder Kritik anderer Modellausgaben.
Verwenden Sie es für die skalierbare Bewertung nach der Kalibrierung anhand menschlicher Urteile.
Modelle können verzerrt oder inkonsistent sein; prüfen Sie sie mit repräsentativen, von Menschen erstellten Beispielen.
Bitten Sie ein "Judge"-Modell, Zitationsunterstützung anhand einer festen Rubrik zu bewerten.Operationen
Pass rate
Der Anteil der Evaluationsfälle, die einen definierten Akzeptanzschwellenwert erfüllen.
Verwenden Sie es, um die Freigabegrenzungen und Qualitätsänderungen im Laufe der Zeit zu verfolgen.
Erfordern Sie eine Bestehensrate von mindestens 95 % bei kritischen Richtlinienfragen, bevor Sie sie veröffentlichen.Operationen
Regression test
Ein wiederholter Test, der überprüft, ob eine Änderung ein Verhalten unterbricht, das zuvor funktioniert hat.
Führen Sie es nach Änderungen an Modell, Prompt, Retrieval, Tool oder Richtlinie aus.
Führen Sie die aktualisierte Evaluationssuite erneut aus, nachdem die Systemanweisung geändert wurde.Operationen
Efficiency metrics
Metriken wie Antwortlatenz, Tokenverbrauch, Durchsatz und Geldkosten.
Bewertung dieser Aspekte zusammen mit der Qualität, damit Verbesserungen im großen Maßstab praktikabel bleiben.
Vergleichen Sie die Latenz von p95 und die Kosten pro erfolgreiche Aufgabe, nicht nur die Kosten pro Anfrage.