AI Engineering Tools

Generative-AI-Engineering

Begriffe zu AI-Fine-Tuning und Alignment

Lernen Sie Fine-Tuning, kontinuierliches Vortraining, Instruction Tuning, SFT, PEFT, LoRA, QLoRA, Präferenzdaten, RLHF, DPO, GRPO, Regressionsbewertung, Datenrechte, Datenschutz, Versionierung und Rollback.

54 Begriffe

Übersicht zur Feinabstimmung

Feinabstimmung

Fine-tuning

Bedeutung

Fortsetzung des Trainings eines vortrainierten Modells, um sein Verhalten an eine engere Aufgabe, einen bestimmten Bereich, ein bestimmtes Format oder eine bestimmte Präferenz anzupassen.

Einsatz

Verwenden Sie es, wenn Prompting und Retrieval allein nicht für ein ausreichend konsistentes, erlerntes Verhalten sorgen können.

Beispiel

Das zugelassene Basismodell mit überprüften Support-Antworten feinabstimmen und es dann mit dem unveränderten Basismodell vergleichen.

Übersicht zur Feinabstimmung

Nachgelagerte Aufgabe

Downstream task

Bedeutung

Eine bestimmte Anwendung, die mit einem allgemeinen, vortrainierten Modell ausgeführt wird.

Einsatz

Definieren Sie dies präzise, bevor Sie Daten für das Feintuning sammeln und Metriken auswählen.

Beispiel

Nachgelagerte Aufgabe: Koreanische Support-Anfragen in die genehmigte Routing-Taxonomie einordnen.

Übersicht zur Feinabstimmung

Domänenanpassung

Domain adaptation

Bedeutung

Anpassen eines Modells an Sprache, Muster oder Verteilungen, die in einem bestimmten Bereich oder einer bestimmten Umgebung gefunden werden.

Einsatz

Verwenden Sie es, wenn sich der Zielbereich erheblich von der allgemeinen Trainingsverteilung des Modells unterscheidet.

Beispiel

Das Modell an autorisierte Dokumente zur Halbleiterwartung anpassen und auf unbekannten Dokumenten evaluieren.

Übersicht zur Feinabstimmung

Fortsetzung des Vortrainings

Continued pre-training

Bedeutung

Weiteres Vortrainieren eines Basismodells mit zusätzlichen, unbeschrifteten oder selbstüberwachten Domänendaten, bevor eine aufgabenspezifische Feinabstimmung erfolgt.

Einsatz

Verwenden Sie es für die Anpassung an verschiedene Fachgebiete, wenn eine kleine Anzahl von Anweisungsbeispielen nicht ausreicht.

Beispiel

Setzen Sie das Vortraining auf dem lizenzierten Domänenkorpus fort und führen Sie dann ein überwachtes Instruction Tuning durch.

Übersicht zur Feinabstimmung

Anweisungsoptimierung

Instruction tuning

Bedeutung

Feinabstimmung mit Anweisungen und gewünschten Antworten, sodass ein Modell vielfältigere Aufgaben der natürlichen Sprache zuverlässiger ausführen kann.

Einsatz

Verwenden Sie vielfältige, geprüfte Anleitungen, die die Zielbenutzer, Aufgaben, Sprachen und Sicherheitsrichtlinien widerspiegeln.

Beispiel

Trainieren Sie mit Beispielen für Anweisungen und Antworten, die die Zusammenfassung, Extraktion, Ablehnung und Klärung abdecken.

Übersicht zur Feinabstimmung

Nach dem Training

Post-training

Bedeutung

Training, das nach dem breiten Vortraining durchgeführt wird, um die Einhaltung von Anweisungen, Präferenzen, Sicherheit oder das Bereitverhalten zu verbessern.

Einsatz

Verwenden Sie es als Oberbegriff für überwachtes Tuning, Präferenzoptimierung, Reward-Modellierung und verwandte Ausrichtungsarbeiten.

Beispiel

Dokumentieren Sie jede Stufe nach dem Training, ihre Daten, ihr Ziel, ihren Checkpoint und das Evaluations-Gate.

Übersicht zur Feinabstimmung

Supervised Fine-Tuning (SFT)

Supervised fine-tuning (SFT)

Bedeutung

Feinabstimmung, die aus Eingaben lernt, die mit überprüften Zielantworten oder -labels gepaart sind.

Einsatz

Verwenden Sie es, um das Antwortformat, die Aufgabenprozedur, den Ton und Beispiele für das gewünschte Verhalten zu vermitteln.

Beispiel

SFT-Beispiel: Benutzeranfrage, genehmigte Assistentenantwort, Metadaten und Datensicherheitsrichtlinie.

Übersicht zur Feinabstimmung

Modell-Ausrichtung

Model alignment

Bedeutung

Die Bemühung, das Verhalten des Modells besser an definierte menschliche Absichten, Richtlinien, Präferenzen und Sicherheitsanforderungen anzupassen.

Einsatz

Verwenden Sie es als das übergeordnete Ziel hinter Instruction Tuning, Präferenzoptimierung, Sicherheitsschulung und Verhaltensbewertung.

Beispiel

Definieren Sie die Ausrichtung, unerwünschtes Verhalten, Evaluationsfälle und die menschliche Genehmigungsinstanz.

Übersicht zur Feinabstimmung

Anpassung des Verhaltens

Behavior adaptation

Bedeutung

Das Ändern der Art und Weise, wie ein Modell reagiert, Ausgaben formatiert, Verfahren befolgt oder Unsicherheiten behandelt, ohne anzunehmen, dass es aktuelles Faktenwissen erlangt.

Einsatz

Verwenden Sie es, wenn die gewünschte Änderung stabile Antwortmuster betrifft, anstatt häufig wechselnder Informationen.

Beispiel

Das Modell anpassen, um eine Klärung anzufordern, wenn die erforderlichen Beweise für das Konto fehlen.

Methoden und Adapter

Vollständige Feinabstimmung

Full fine-tuning

Bedeutung

Feinabstimmung, die alle oder die meisten Parameter des Basismodells aktualisiert.

Einsatz

Verwenden Sie es nur, wenn der erwartete Vorteil die erheblichen Kosten für Speicher, Rechenleistung, Speicher und Auswertung rechtfertigt.

Beispiel

Vergleichen Sie das vollständige Fine-Tuning mit einer PEFT-Baseline unter Verwendung der gleichen Daten und des gleichen Evaluationsdatensatzes.

Methoden und Adapter

Parameter-effizientes Feintuning (PEFT)

Parameter-efficient fine-tuning (PEFT)

Bedeutung

Eine Familie von Methoden, die ein Modell anpasst, während nur ein relativ kleiner Teil der Parameter trainiert wird.

Einsatz

Verwenden Sie es, um den Speicherbedarf für das Training, den Speicherplatz und die Größe der Checkpoint-Dateien pro Aufgabe zu reduzieren.

Beispiel

Trainieren Sie für jede genehmigte Domäne einen separaten PEFT-Adapter, wobei die Basisgewichte unverändert bleiben.

Methoden und Adapter

Adapter

Adapter

Bedeutung

Eine kleine Menge zusätzlicher oder geänderter Parameter, die einem Basismodell für eine bestimmte Anpassung hinzugefügt werden.

Einsatz

Verwenden Sie Adapter, um aufgabenspezifische Änderungen von gemeinsamen Basiskern-Gewichten zu trennen.

Beispiel

Laden Sie den Finanz-Adapter nur für autorisierte Finanz-Workflows.

Methoden und Adapter

Low-Rank-Adaption (LoRA)

Low-rank adaptation (LoRA)

Bedeutung

Eine PEFT-Methode, die Low-Rank-Update-Matrizen für ausgewählte Modellmodule lernt, während die Basiswaights eingefroren bleiben.

Einsatz

Verwenden Sie es, wenn kleinere, trainierbare Zustände und wiederverwendbare Adapter zum Deployment-Design passen.

Beispiel

Wenden Sie LoRA auf ausgewählte Aufmerksamkeitsprojektionen an und protokollieren Sie Rang, Alpha, Dropout und Zielmodule.

Methoden und Adapter

QLoRA

QLoRA

Bedeutung

Ein Feinabstimmungsansatz, der LoRA-Adapter trainiert, während das Basismodell in einer quantisierten Darstellung geladen wird.

Einsatz

Verwenden Sie es, um den Speicherbedarf des Basismodells zu reduzieren, während die numerische Stabilität und Qualität anhand einer geeigneten Referenz überprüft werden.

Beispiel

Laden Sie das zugelassene Basismodell im unterstützten Quantisierungsformat und trainieren Sie nur den LoRA-Adapter.

Methoden und Adapter

Quantisierung

Quantization

Bedeutung

Darstellung von Modellwerten mit Formaten mit geringerer Präzision, um Speicher-, Speicher- oder Rechenanforderungen zu reduzieren.

Einsatz

Verwenden Sie es, wenn die unterstützte Methode und Hardware eine akzeptable Qualität und ein numerisches Verhalten gewährleisten können.

Beispiel

Bewertung des quantisierten Basismodells vor QLoRA und Aufzeichnung des Formats, der Bitbreite, der Bibliothek und des Datentyps.

Methoden und Adapter

LoRA-Rang

LoRA rank

Bedeutung

Die Dimensionalität der Low-Rank-Update-Matrizen, die von einem LoRA-Adapter verwendet werden.

Einsatz

Optimieren Sie ihn als Kompromiss zwischen Kapazität und Ressourcen, anstatt anzunehmen, dass ein höherer Rang immer besser ist.

Beispiel

Vergleichen Sie Rang 8 und Rang 16 mit demselben Seed, den gleichen Daten, den gleichen Schritten und der gleichen Evaluationssuite.

Methoden und Adapter

LoRA alpha

LoRA alpha

Bedeutung

Eine Skalierungskonfiguration, die den Beitrag von gelernten LoRA-Updates beeinflusst.

Einsatz

Speichern Sie dies zusammen mit dem Rang und den Implementierungsdetails, da die Interpretation von der Bibliothek abhängen kann.

Beispiel

Speichern Sie Rang, Alpha, Dropout, Zielmodule und Bibliotheksversion im Adapter-Manifest.

Methoden und Adapter

Zielmodule

Target modules

Bedeutung

Die Modellschichten oder -projektionen, die ausgewählt werden, um Adapter-Updates zu erhalten.

Einsatz

Wählen Sie sie entsprechend der Modellarchitektur, der Methodenunterstützung und der gemessenen Qualität aus.

Beispiel

Richten Sie die unterstützten Abfrage- und Wertprojektionen aus und überprüfen Sie dann die Anzahl der trainierbaren Parameter.

Methoden und Adapter

Trainierbare Parameter

Trainable parameters

Bedeutung

Die Teilmenge der Modellparameter, die die Optimierung aktualisieren darf.

Einsatz

Geben Sie sowohl die Anzahl als auch den Prozentsatz an, damit vollständige und parameter-effiziente Läufe verglichen werden können.

Beispiel

Protokollieren Sie die trainierbaren Parameter, die Gesamtzahl der Parameter, den Prozentsatz und die Größe des Adapter-Checkpoints.

Methoden und Adapter

Adapter-Merge

Adapter merge

Bedeutung

Kombinieren von gelernten Adapter-Updates in Basisgewichten oder einer anderen Adapterdarstellung für die Bereitstellung.

Einsatz

Verwenden Sie es nur nach Kompatibilitäts-, Lizenz-, Präzisions-, Qualitäts- und Rollback-Prüfungen.

Beispiel

Bewertung des zusammengeführten Artefakts im Vergleich zur unzusammengeführten Basis-plus-Adapter-Konfiguration vor der Veröffentlichung.

Trainingsformate

Prompt-Vervollständigungs-Paar

Prompt-completion pair

Bedeutung

Ein Trainingsbeispiel, das einen Eingabe-Prompt und die gewünschte Vervollständigung enthält.

Einsatz

Verwenden Sie ein konsistentes Schema und stellen Sie sicher, dass die Vervollständigungen das exakte Zielverhalten demonstrieren.

Beispiel

{"prompt":"Classify the request","completion":"billing_refund"}

Trainingsformate

Anweisungs-Antwort-Paar

Instruction-response pair

Bedeutung

Ein überwachtes Beispiel, das eine natürlichsprachliche Anweisung oder ein Gespräch mit der erwarteten Antwort kombiniert, die das Modell lernen soll.

Einsatz

Verwenden Sie es für SFT und behalten Sie die Quelldaten, Rechte, Prüfungen und Qualitätsmetadaten zusammen mit jedem Beispiel.

Beispiel

{"messages":[{"role":"user","content":"배송 취소 방법을 알려줘"},{"role":"assistant","content":"주문 내역에서 취소할 주문을 선택하세요."}]}

Trainingsformate

Chat-Vorlage

Chat template

Bedeutung

Eine Formatierungsregel, die System-, Benutzer-, Assistenten- und Tool-Nachrichten in die Token-Sequenz umwandelt, die von einem Chat-Modell erwartet wird.

Einsatz

Verwenden Sie den Tokenizer und die Vorlage, die mit dem ausgewählten Basismodell kompatibel sind, sowohl während des Trainings als auch während der Inferenz.

Beispiel

Rendern Sie die gleiche genehmigte Chat-Vorlage bei der Vorverarbeitung des Datensatzes und bei der Produktionsinferenz.

Trainingsformate

System-, Benutzer- und Assistentenrollen

System, user, and assistant roles

Bedeutung

Nachrichten-Rollen-Labels, die dauerhafte Anweisungen, Benutzereingaben und Modellantworten in Trainingsdaten für Konversationen unterscheiden.

Einsatz

Verwenden Sie nur Rollen und Anordnungen, die vom Chat-Template des ausgewählten Modells unterstützt werden.

Beispiel

System: Richtlinie und Rolle; Benutzer: Anfrage; Assistent: Überprüfte Zielantwort.

Trainingsformate

Maskierung der Antwort

Response masking

Bedeutung

Ausschluss ausgewählter Eingabetoken aus der Verlustberechnung, sodass das Training sich auf die beabsichtigten Antworttoken konzentriert.

Einsatz

Verwenden Sie es, wenn das Ziel darin besteht, Assistenten-Ausgaben zu lernen, ohne jedes Prompt-Token als Ziel zu behandeln.

Beispiel

System- und Benutzer-Token maskieren, um Verluste zu vermeiden, und die Grenzen des Assistenten nach der Tokenisierung überprüfen.

Trainingsformate

Sequenzverpackung

Sequence packing

Bedeutung

Kombinieren mehrerer kürzerer Beispiele zu längeren Trainingssequenzen, um Padding zu reduzieren und die Auslastung zu verbessern.

Einsatz

Verwenden Sie es nur, wenn die Beispielgrenzen, das Attentierungsverhalten, die Beschriftungen und die Endzeichen korrekt bleiben.

Beispiel

Kurze Dialoge bis zum Kontextlimit packen und prüfen, ob ein Beispiel nicht in das nächste überläuft.

Trainingsformate

Kontextlänge für die Feinabstimmung

Fine-tuning context length

Bedeutung

Die maximale Tokenlänge, die für jede Trainingssequenz nach Formatierung und Tokenisierung verwendet wird.

Einsatz

Legen Sie dies entsprechend dem Basismodell, der Zielaufgabe, dem Speicherbudget, dem Risiko der Beschneidung und dem Produktionsanforderungsmuster fest.

Beispiel

Die Tokenlängenverteilung messen und eine Grenze wählen, die wichtige Inhalte beibehält, ohne übermäßige Füllung zu verursachen.

Trainingsformate

Präferenz-Datensatz

Preference dataset

Bedeutung

Ein Datensatz, der vergleichende Bewertungen oder Belohnungen für alternative Modellausgaben aufzeichnet.

Einsatz

Verwenden Sie es für die Belohnungsmodellierung oder die Präferenzoptimierung mit dokumentierten Kennzeichnungsregeln und Qualitätsprüfungen für Gutachter.

Beispiel

Speichern Sie die Aufforderung, die Kandidatenantworten, das Präferenz-Ergebnis, die Begründung, die Gutachtergruppe und den Einwilligungsstatus.

Trainingsformate

Ausgewählte und abgelehnte Antwortpaare

Chosen and rejected response pair

Bedeutung

Zwei Kandidatenantworten, die mit Beschriftungen versehen sind, um anzugeben, welche die definierten Präferenzkriterien besser erfüllt.

Einsatz

Verwenden Sie Paare, die sich wesentlich unterscheiden, und wenden Sie einheitliche Kriterien an, anstatt sich nur auf persönlichen Geschmack zu verlassen.

Beispiel

Ausgewählt: Verweist auf die angegebene Richtlinie und gibt Unsicherheit an. Abgelehnt: Erfindet einen nicht unterstützten Termin.

Präferenz-Ausrichtung

Menschliches Feedback

Human feedback

Bedeutung

Strukturierte Bewertungen, Labels, Demonstrationen oder Korrekturen, die von Personen bereitgestellt werden, um das Verhalten des Modells zu steuern.

Einsatz

Definieren Sie die Qualifikation der Gutachter, Anweisungen, den Umgang mit Meinungsverschiedenheiten, Datenschutz, Vergütung und Qualitätssicherung.

Beispiel

Verwenden Sie kalibrierte Gutachter und entscheiden Sie sich für Meinungsverschiedenheiten von großer Bedeutung, bevor Sie mit dem Training beginnen.

Präferenz-Ausrichtung

Verstärkungslernen mit menschlichem Feedback (RLHF)

Reinforcement learning from human feedback (RLHF)

Bedeutung

Eine Familie von Ansätzen zur Nachbearbeitung, die menschliche Präferenzsignale und Reinforcement-Learning-Techniken verwenden, um das Verhalten des Modells zu beeinflussen.

Einsatz

Verwenden Sie es nur mit einem klaren Belohnungsdesign, einer stabilen Trainingsumgebung, einer Sicherheitsbewertung und einer soliden Datenverwaltung.

Beispiel

Trainieren und validieren Sie ein Belohnungssignal, optimieren Sie die Richtlinie konservativ und vergleichen Sie es mit der SFT-Basislinie.

Präferenz-Ausrichtung

Belohnungsmodell

Reward model

Bedeutung

Ein Modell, das Kandidaten-Ausgaben gemäß gelernten Präferenz- oder Qualitätsmerkmalen bewertet.

Einsatz

Verwenden Sie es, wenn ein Trainings- oder Auswahlprozess eine skalierbare Annäherung an dokumentierte Präferenzen benötigt.

Beispiel

Bewertung der Genauigkeit, Kalibrierung, des Verhaltens von Teilgruppen und der Ausnutzbarkeit des Belohnungsmodells anhand von Vergleichsdaten.

Präferenz-Ausrichtung

Präferenz-Optimierung

Preference optimization

Bedeutung

Nach dem Training, das das Modellverhalten mithilfe von Vergleichspräferenzen, Belohnungen oder verwandten Feedbacksignalen aktualisiert.

Einsatz

Verwenden Sie es als eine breite Kategorie, die direkte Präferenz- und Reinforcement-Learning-Ansätze umfasst.

Beispiel

Definieren Sie die Bewertungskriterien, das Referenzverhalten, die Optimierungsmethode und die Aufbewahrungsbewertungen.

Präferenz-Ausrichtung

Verstärkungslernen mit KI-Feedback (RLAIF)

Reinforcement learning from AI feedback (RLAIF)

Bedeutung

Eine Familie von Reinforcement-Learning-Ansätzen, die Feedback verwendet, das von AI-Systemen erzeugt oder unterstützt wird, anstatt sich nur auf direkte menschliche Urteile zu verlassen.

Einsatz

Verwenden Sie es nur mit validierten Feedbackkriterien, menschlicher Aufsicht, Bias-Prüfungen und Schutzmaßnahmen gegen selbstverstärkende Fehler.

Beispiel

Kalibrieren Sie das AI-Feedback anhand eines separaten Satzes von Expertenurteilen, bevor Sie die Richtlinien optimieren.

Präferenz-Ausrichtung

Feinabstimmung mit Verstärkungslernen

Reinforcement fine-tuning

Bedeutung

Feinabstimmung, die das Modellverhalten anhand von Belohnungssignalen optimiert, die von Bewertern, Umgebungen, Regeln oder Feedback-Modellen erzeugt werden.

Einsatz

Verwenden Sie es, wenn Ergebnisse zuverlässig bewertet werden können und das Trainingssystem Reward-Hacking, Stabilität und Fähigkeitserhalt überwachen kann.

Beispiel

Bewerten Sie überprüfbare Aufgaben-Ergebnisse, optimieren Sie konservativ und vergleichen Sie sie mit den unveränderten und SFT-Basiswerten.

Präferenz-Ausrichtung

Direct preference optimization (DPO)

Direct preference optimization (DPO)

Bedeutung

Eine Präferenz-Trainingsmethode, die direkt ausgewählte und abgelehnte Antworten verwendet, um eine Richtlinie relativ zu einem Referenzverhalten zu aktualisieren.

Einsatz

Verwenden Sie es, wenn geeignete Präferenzpaare und eine kompatible Trainingsimplementierung verfügbar sind.

Beispiel

Trainieren Sie DPO aus dem genehmigten SFT-Checkpoint und vergleichen Sie Hilfsbereitschaft, Sicherheit und Fähigkeitserhaltung.

Präferenz-Ausrichtung

Proximal Policy Optimization (PPO)

Proximal policy optimization (PPO)

Bedeutung

Ein Optimierungsalgorithmus, der die Größe der Updates begrenzt, während ein Belohnungssignal optimiert wird.

Einsatz

Verwenden Sie es in Reinforcement-Learning-Pipelines, die die Überwachung von Belohnung, Wert, Rollout und Stabilität unterstützen können.

Beispiel

Verfolgen Sie Belohnung, Abweichung vom Referenzmodell, Antwortlänge und Sicherheitsmetriken während von PPO.

Präferenz-Ausrichtung

Group Relative Policy Optimization (GRPO)

Group relative policy optimization (GRPO)

Bedeutung

Eine Reinforcement-Learning-Methode, die die Belohnungen mehrerer Stichproben für dieselbe Prompt vergleicht, um den relativen Vorteil zu schätzen.

Einsatz

Verwenden Sie es nur, wenn die Stichprobenziehung, die Qualität der Belohnung, die Trainingsstabilität und die Rechenkosten für die Aufgabe geeignet sind.

Beispiel

Erzeugen Sie mehrere Lösungen pro Problem, bewerten Sie diese mit verifizierten Prüfungen und optimieren Sie sie anhand von gruppenrelativen Belohnungen.

Bewertung und Regression

Validierungsverlust bei der Feinabstimmung

Fine-tuning validation loss

Bedeutung

Der Verlust wird auf separaten Validierungsbeispielen gemessen, ohne die Modellparameter anhand dieser Beispiele zu aktualisieren.

Einsatz

Verwenden Sie es mit Metriken für Aufgaben, Sicherheit und Verhalten, da ein geringerer Verlust allein kein besseres Produktionsverhalten beweist.

Beispiel

Wählen Sie Kandidaten-Checkpoints anhand des Validierungsverlusts und der festen, produktionsreifen Evaluationssuite aus.

Bewertung und Regression

Holdout-Evaluierung

Holdout evaluation

Bedeutung

Bewertung anhand von Beispielen, die absichtlich vom Training und vom Feedback zur Modellauswahl ausgeschlossen wurden.

Einsatz

Verwenden Sie es für eine weniger verzerrte Schätzung der Leistung bei unbekannten Fällen und schützen Sie den Datensatz vor wiederholtem Tuning.

Beispiel

Führen Sie die Locked-Holdout-Suite nur nach der Auswahl des Kandidaten-Checkpoints aus.

Bewertung und Regression

Auswahl von Checkpoints

Checkpoint selection

Bedeutung

Auswahl des zu verwendenden gespeicherten Trainingszustands basierend auf vordefinierten Qualitäts-, Sicherheits-, Kosten- und Regressionskriterien.

Einsatz

Verwenden Sie eine feste Evaluationssuite und vermeiden Sie die Auswahl nur anhand des Trainingsverlusts.

Beispiel

Fördert den Checkpoint, der die Aufgaben, Sicherheits-, Mehrsprachigkeits-, Latenz- und Gedächtnistests besteht.

Bewertung und Regression

Vergleich von Basismodellen

Base-model comparison

Bedeutung

Eine kontrollierte Bewertung, die das feinabgestimmte Modell mit dem unveränderten Basismodell vergleicht.

Einsatz

Verwenden Sie identische Prompts, Abrufmethoden, Decodierungsverfahren und Datensätze, um Änderungen auf Fine-Tuning zurückzuführen.

Beispiel

Geben Sie Siege, Unentschieden, Regressionen, Latenz und Kosten für Basis- und optimierte Kandidaten an.

Bewertung und Regression

Katastrophales Vergessen

Catastrophic forgetting

Bedeutung

Ein Verlust der zuvor erlernten Fähigkeiten nach dem intensiven Training auf neue Daten oder Ziele.

Einsatz

Testen Sie die beibehaltenen allgemeinen Fähigkeiten, Sprachen, das Sicherheitsverhalten und die Aufgaben außerhalb des Anwendungsbereichs nach dem Training.

Beispiel

Führen Sie die Baseline-Funktionssuite vor und nach dem Fine-Tuning aus und verhindern Sie signifikante Leistungseinbußen.

Bewertung und Regression

Funktionsregression

Capability regression

Bedeutung

Ein messbarer Rückgang einer bestehenden Modellfunktion nach Feinabstimmung oder Änderungen bei der Bereitstellung.

Einsatz

Definieren Sie Regressionsschwellenwerte für wichtige Aufgaben vor dem Training und der Veröffentlichung.

Beispiel

Build-Prozess abbrechen, wenn die Genauigkeit der mehrsprachigen Extraktion unter den zulässigen Grenzwert fällt.

Bewertung und Regression

Sicherheitsregression

Safety regression

Bedeutung

Ein Rückgang von Ablehnungen, Datenschutzverletzungen, Ungerechtigkeit oder schädlichen Inhalten nach der Anpassung.

Einsatz

Führen Sie gezielte Adversarial- und Policy-Evaluierungen für jeden Kandidaten-Checkpoint durch.

Beispiel

Vergleichen Sie Jailbreak-Versuche, die Offenlegung persönlicher Daten (PII), Bias und die Rate unsicherer Vervollständigungen mit der zugelassenen Baseline.

Bewertung und Regression

Auswendiglernen von Trainingsdaten

Training-data memorization

Bedeutung

Die Fähigkeit eines Modells, bestimmte Trainingsbeispiele über die gewünschte Generalisierung hinaus zu speichern und möglicherweise zu reproduzieren.

Einsatz

Testen Sie auf ungewöhnliche Phrasenwiederholungen, Geheimnisse, persönliche Daten und nahezu wortgetreue Ausgaben, bevor Sie etwas veröffentlichen.

Beispiel

Testet vordefinierte Präfixe und blockiert die Veröffentlichung, wenn das Modell sensible Fortsetzungen reproduziert.

Bewertung und Regression

Feinabstimmung im Vergleich zu RAG (Retrieval-Augmented Generation)

Fine-tuning versus RAG

Bedeutung

Eine Designentscheidung zwischen der Änderung des Modellverhaltens durch Training und der Bereitstellung von externem Wissen zur Laufzeit.

Einsatz

Bevorzugen Sie das Abrufen für aktuelle oder häufig geänderte Fakten und das Feintuning für stabiles Verhalten, Format oder Aufgabenmuster. Bewerten Sie dann einen kombinierten Ansatz, falls erforderlich.

Vorsicht

Die Feinabstimmung aktualisiert nicht automatisch häufig geänderte Fakten oder liefert Quellenangaben.

Beispiel

Verwenden Sie RAG für aktuelle Richtlinien und SFT für die genehmigte Antwortstruktur.

Rechte und Operationen

Datenrechte für die Feinabstimmung

Fine-tuning data rights

Bedeutung

Die Lizenzen, Berechtigungen, Vertragsbedingungen und andere Rechte, die erforderlich sind, um Daten für die Anpassung eines Modells zu verwenden.

Einsatz

Überprüfen Sie die Rechte auf Quell- und Beispielniveau und behalten Sie die Herkunft, die Einschränkungen und die Verfahren zur Entfernung.

Vorsicht

Die Online-Verfügbarkeit, der API-Zugriff oder der Besitz einer Datei gewähren allein keine Rechte zur Feinabstimmung.

Beispiel

Speichern Sie Quelle, Rechteinhaber, Lizenz oder Genehmigung, zulässige Trainingsnutzung, Gebiet, Gültigkeitsdauer und Kontakt für die Löschung.

Rechte und Operationen

Persönliche Daten beim Feintuning

Personal data in fine-tuning

Bedeutung

Informationen in Adaptionsdaten, die eine Person identifizieren oder mit einer Person verknüpft werden können.

Einsatz

Minimieren, anonymisieren, die entsprechende Genehmigung einholen, den Zugriff beschränken und die Aufbewahrungs- und Löschfristen festlegen, bevor das Training beginnt.

Beispiel

Ersetzen Sie Namen und Kontobezeichner durch kontrollierte Platzhalter und überprüfen Sie den transformierten Datensatz.

Rechte und Operationen

Modellregister

Model registry

Bedeutung

Ein kontrollierter Katalog mit Metadaten für Modelle, Adapter, Checkpoints, Bewertungen, Genehmigungen und Bereitstellungen.

Einsatz

Verwenden Sie es, um zu verfolgen, welches Artefakt genehmigt, bereitgestellt, veraltet oder für einen Rollback geeignet ist.

Beispiel

Registrieren Sie Digest des Modells, Basisversion, Adapter, Datensatz, Bewertungen, Eigentümer, Genehmigung und Bereitstellungsphase.

Rechte und Operationen

Adapter-Service

Adapter serving

Bedeutung

Verwendung eines Basismodells mit auswählbaren, aufgaben- oder domänenspezifischen Adaptern zur Inferenzzeit.

Einsatz

Verwenden Sie es, wenn die Laufzeit Adapter isolieren, die Auswahl autorisieren, den Speicher verwalten und die Versionskompatibilität gewährleisten kann.

Beispiel

Leiten Sie genehmigte Finanzanfragen an den Finanz-Adapter weiter und protokollieren Sie die genaue Basisversion plus Adapterversion.

Rechte und Operationen

Datenrichtlinie des Feinabstimmungsanbieters

Fine-tuning provider data policy

Bedeutung

Die Nutzungsbedingungen und Kontrollen eines Dienstleisters für hochgeladene Trainingsdaten, Aufbewahrung, Löschung, Modellzugriff, geografische Verarbeitung und sekundäre Nutzung.

Einsatz

Überprüfen Sie den aktuellen Vertrag und die Produktdokumentation, bevor Sie einen Datensatz hochladen, und notieren Sie die genehmigte Konfiguration.

Vorsicht

Anbieterrichtlinien können sich ändern; überprüfen Sie diese vor jedem Schulungsprogramm und gehen Sie niemals davon aus, dass der API-Zugriff Datenzugriffsrechte gewährt.

Beispiel

Überprüfen Sie die Aufbewahrungsdauer, den Löschvorgang, die Einstellung für die Nutzung im Training, die Zugriffsberechtigungen, die Region, die Verschlüsselung und das Verfahren für Vorfälle.

Rechte und Operationen

Versionierung feinabgestimmter Modelle

Fine-tuned model versioning

Bedeutung

Verfolgung des genauen Basismodells, des Adapters oder des Checkpoints, der Daten, des Codes und der Konfiguration, die ein feinabgestimmtes Modell erzeugt haben.

Einsatz

Verwenden Sie unveränderliche Identifikatoren, sodass Bewertungen, Vorfälle, Rollbacks und Audits auf dasselbe Artefakt verweisen.

Beispiel

Version = base model digest + adapter digest + dataset hash + code commit + training config.

Rechte und Operationen

Rückgängigmachen der Feinabstimmung

Fine-tuning rollback

Bedeutung

Rückgabe des Produktionsverkehrs an ein zuvor genehmigtes Modell oder einen Adapter, nachdem ein Problem festgestellt wurde.

Einsatz

Bereiten Sie es vor der Veröffentlichung mit Artefakt-Aufbewahrung, Kompatibilitätsprüfungen, Routing-Steuerungen und Entscheidungsbefugnissen vor.

Beispiel

Halten Sie die zuletzt genehmigte Kombination aus Basis und Adapter bereitstellbar und üben Sie den Rollback-Pfad.

Auswahl von Prompting, RAG oder Fine-Tuning

Beginnen Sie mit dem einfachsten Ansatz, der die Anforderung zuverlässig erfüllt, und bewerten Sie bei Bedarf Kombinationen.

Was Sie benötigenAnsatz, der zuerst berücksichtigt werden soll
Verbessern Sie das Antwortformat oder den Ton.Prompt-Design oder SFT (Supervised Fine-Tuning)
Antwort aus aktuellen oder privaten DokumentenRAG mit quellenzentrierter Suche
Lernen Sie wiederholbares Aufgabenverhalten.Feinabstimmung mit repräsentativen Beispielen
Anpassen an die allgemeine Brachesprache und -musterFortsetzung des Vortrainings oder Feinabstimmung für einen bestimmten Bereich
Lernen Sie aus bevorzugten und abgelehnten Antworten.DPO oder eine andere validierte Methode zur Präferenzoptimierung

SFT-, DPO- und GRPO-Vergleich

Die Methoden erfordern unterschiedliche Daten und optimieren unterschiedliche Signale; sie sind keine austauschbaren Bezeichnungen für das Fine-Tuning.

MethodeTypische Daten und Ziel
SFTAnweisungs-Antwort- oder beschriftete Beispiele; lernen Sie, das überprüfte Zielverhalten zu reproduzieren.
DPOAusgewählte/abgelehnte Antwortpaare; erhöhen Sie direkt die relative Präferenz im Vergleich zum Referenzverhalten.
GRPOMehrere Stichproben-Ausgaben und verifizierte Belohnungen; Optimierung basierend auf Gruppen-relativen Vorteilen.

Häufig gestellte Fragen

Was ist der Unterschied zwischen Vorabtraining und Feinabstimmung?

Das Vortraining vermittelt breite Muster im großen Maßstab und erzeugt ein Basismodell. Das Feintuning beginnt mit diesem Modell und verwendet engere Daten und Ziele, um eine Aufgabe, ein Format, eine Domäne, eine Präferenz oder ein Sicherheitsverhalten anzupassen.

Soll aktuelles Wissen mit RAG oder Fine-Tuning hinzugefügt werden?

Wissensbestände, die sich häufig ändern oder von der Quelle abhängen, eignen sich oft für RAG, da Dokumente bei Bedarf aktualisiert und zitiert werden können. Feinabstimmung eignet sich im Allgemeinen besser für stabiles Verhalten, Formate oder Aufgabenmuster. Einige Systeme kombinieren beides.

Wie unterscheiden sich LoRA und QLoRA?

LoRA trainiert Adapter-Updates mit niedrigem Rang, während die Basisgewichte eingefroren bleiben. QLoRA lädt zusätzlich das Basismodell in einem unterstützten quantisierten Format, um den Speicherbedarf zu reduzieren. Qualität und Kompatibilität müssen für die jeweilige Konfiguration geprüft werden.

Fügt das Feinabstimmen automatisch aktuelle Fakten und Zitate hinzu?

Nein. Ein trainiertes Modell kann immer noch veraltet sein und zeigt nicht unbedingt die Quelle einer generierten Aussage. Verwenden Sie die Suche oder eine andere verifizierte Datenverbindung, wenn Aktualität und Zitate wichtig sind.

Wann sollten SFT, DPO oder GRPO verwendet werden?

Verwenden Sie SFT für überprüfte Zielantworten, DPO für vergleichende Präferenzpaare und GRPO für Aufgaben mit zuverlässigen Belohnungen über mehrere Stichproben. Wählen Sie dies nur nach Bestätigung der Daten, Ziele, Bewertungen, Sicherheits- und Rechenanforderungen.

Was muss vor dem Hochladen von Feinabstimmungsdaten an einen Anbieter überprüft werden?

Überprüfen Sie die Datenrechte, die Zustimmung, die Vertraulichkeit, die Verarbeitung personenbezogener Daten, die Anbieterbedingungen, die Aufbewahrungs- und Löschrichtlinien, die geografische Verarbeitung, die Zugriffskontrollen für Modelle, die sekundäre Nutzung für das Training, die Verschlüsselung, die Reaktion auf Vorfälle und den aktuellen Vertrag.

Offizielle Referenzen

  • Hugging Face Transformers — Fine-tuning

    Offizielle Anleitung zum Fortsetzen des Trainings von einem vortrainierten Modell mit Datensätzen, Tokenisierung, Trainingsargumenten, Bewertung und Checkpoints.

  • Hugging Face PEFT — LoRA

    Offizielle konzeptionelle Anleitung zur LoRA-Konfiguration, zum Rang, zur Alpha, zu den Zielmodulen und zur parameter-effizienten Anpassung.

  • Hugging Face TRL — Quickstart

    Offizielle Übersicht und Beispiele für Nachverarbeitungsmethoden, einschließlich SFT, Reward Modeling, DPO und GRPO.

Verwandte Begriffsguides