AI Engineering Tools

Generative-AI-Engineering

Begriffe zum Training von AI-Modellen

Verstehen Sie Trainingsdaten, Ziele, Batches, Epochen, Verlust, Gradienten, Optimierer, Lernraten, Validierung, Overfitting, Checkpoints, verteiltes Training und Reproduzierbarkeit.

61 Begriffe

Trainingsgrundlagen

Modelltraining

Model training

Bedeutung

Der Prozess der Anpassung von Modellparametern anhand von Daten, sodass das Modell ein bestimmtes Verhalten oder eine bestimmte Aufgabe ausführen kann.

Einsatz

Verwenden Sie den Begriff für den gesamten Optimierungsprozess, einschließlich Datenvorbereitung, Trainingsläufe, Validierung und Auswahl von Checkpoints.

Beispiel

Definieren Sie das Trainingsziel, den genehmigten Datensatz, den Validierungsplan, das Rechenbudget und die Abbruchkriterien vor dem Lauf.

Trainingsgrundlagen

Vortraining

Pre-training

Bedeutung

Umfangreiches Training, das einem Modell breite Muster beibringt, bevor es an eine engere Aufgabe oder einen engeren Bereich angepasst wird.

Einsatz

Verwenden Sie es, wenn zwischen der Erstellung eines Basismodells und dem späteren Fine-Tuning oder der Anpassung unterschieden werden soll.

Beispiel

Trainieren Sie das Basismodell mit einem autorisierten mehrsprachigen Korpus und bewerten Sie dann die Sprachabdeckung.

Trainingsgrundlagen

Basismodell

Foundation model

Bedeutung

Ein weitgehend vortrainiertes Modell, das für viele nachgelagerte Aufgaben und Anpassungen entwickelt wurde.

Einsatz

Verwenden Sie es, wenn das allgemeine Modell identifiziert wird, auf dem spätere Prompts, Abrufe, Adapter oder Fine-Tuning basieren.

Beispiel

Speichern Sie die genehmigte Basismodellfamilie, Version, Lizenz und den vorgesehenen Anpassungspfad.

Trainingsgrundlagen

Basismodell

Base model

Bedeutung

Der spezifische, vortrainierte Checkpoint, der als Ausgangspunkt für die Inferenz oder eine zusätzliche Anpassung verwendet wird.

Einsatz

Verwenden Sie die genaue Modell- und Revisionskennung, damit das Training und die Bereitstellung reproduzierbar sind.

Beispiel

Basismodell: genehmigte Modell-ID und unveränderlicher Revisions-Hash.

Trainingsgrundlagen

Modellparameter

Model parameter

Bedeutung

Ein numerischer Wert innerhalb eines Modells, der während des Trainings gelernt oder durch die gewählte Methode festgelegt werden kann.

Einsatz

Verwenden Sie es, wenn die Gesamt-, eingefrorenen und trainierbaren Teile eines Modells verglichen werden.

Beispiel

Geben Sie die Gesamtzahl der Parameter und den Teil, der durch die Trainingsmethode aktualisiert wurde, an.

Trainingsgrundlagen

Transferlernen

Transfer learning

Bedeutung

Wiederverwendung von Wissen, das für eine bestimmte Anwendung erworben wurde, als Ausgangspunkt für eine andere, verwandte Aufgabe oder einen anderen Bereich.

Einsatz

Verwenden Sie es, wenn eine vortrainierte Repräsentation angepasst wird, anstatt ein neues Modell von Grund auf neu zu trainieren.

Beispiel

Beginnen Sie mit dem bestehenden Sprachmodell und passen Sie es an die Intent-Klassifizierung an.

Trainingsgrundlagen

Trainingsziel

Training objective

Bedeutung

Das mathematische oder Verhaltensziel, das ein Trainingslauf optimieren soll.

Einsatz

Definieren Sie dies, bevor Sie Daten, Labels, Verlustfunktionen und Evaluationsmetriken auswählen.

Beispiel

Ziel: Vorhersage des nächsten Tokens bei gleichzeitiger Minimierung des Validierungsverlusts auf dem genehmigten Domänenkorpus.

Trainingsgrundlagen

Überwachtes Lernen

Supervised learning

Bedeutung

Training anhand von Beispielen, die Eingaben mit erwarteten Labels oder Ausgaben verknüpfen.

Einsatz

Verwenden Sie es, wenn zuverlässige Zielantworten, Klassen oder Werte verfügbar sind.

Beispiel

Trainieren Sie mit Support-Fragen, die mit überprüften Absichtserkennungs-Labels gepaart sind.

Trainingsgrundlagen

Selbstüberwachtes Lernen

Self-supervised learning

Bedeutung

Training, das Vorhersageziele aus der Struktur der unbeschrifteten Daten selbst ableitet.

Einsatz

Verwenden Sie es für die Darstellung großer Datenmengen oder das Training von Sprachmodellen, wenn eine manuelle Kennzeichnung unpraktisch ist.

Beispiel

Verbergen oder verschieben Sie einen Teil jeder Sequenz und trainieren Sie das Modell, um den fehlenden oder nächsten Inhalt vorherzusagen.

Trainingsdaten

Trainingsdatensatz

Training dataset

Bedeutung

Die Beispiele, die zur Berechnung von Gradienten und zur Aktualisierung der Modellparameter verwendet werden.

Einsatz

Erstellen Sie es aus relevanten, lizenzierten, repräsentativen und qualitätskontrollierten Daten.

Vorsicht

Gehen Sie nicht davon aus, dass öffentlich zugängliche Daten automatisch für das Training von Modellen autorisiert sind.

Beispiel

Erstellt einen versionierten Trainingsdatensatz mit Metadaten zu Quelle, Lizenz, Zustimmung, Sprache und Qualität.

Trainingsdaten

Validierungsdatensatz

Validation dataset

Bedeutung

Ein Datensatz, der während der Entwicklung verwendet wird, um Einstellungen zu vergleichen und die Generalisierung zu überwachen.

Einsatz

Verwenden Sie es für die Auswahl von Kontrollpunkten, das frühzeitige Beenden und die Hyperparameter-Optimierung, ohne die Gewichte aus den Beispielen zu aktualisieren.

Beispiel

Bewertung des Validierungsverlusts in jeder Epoche und Beibehaltung des besten genehmigten Checkpoints.

Trainingsdaten

Testdatensatz

Test dataset

Bedeutung

Ein separater Datensatz, der für eine abschließende, weniger verzerrte Schätzung verwendet wird, nachdem alle Designentscheidungen getroffen wurden.

Einsatz

Verwenden Sie es nur nach der Modellauswahl und Hyperparameteroptimierung, um eine Feinabstimmung auf dem endgültigen Testdatensatz zu vermeiden.

Beispiel

Sperren Sie den Testdatensatz vor Experimenten und melden Sie seine Version zusammen mit dem Endergebnis.

Trainingsdaten

Trainingskorpus

Training corpus

Bedeutung

Eine Sammlung von Text, Code, Bildern, Audio oder anderem Material, die für das Modelllernen vorbereitet wurde.

Einsatz

Verwenden Sie den Begriff, wenn Sie die Themen Abdeckung, Herkunft, Filterung und Rechte im Zusammenhang mit Sammlungen diskutieren.

Beispiel

Dokumentkorpus-Quellen, Datumsangaben der Sammlung, Ausschlüsse, Rechtsgrundlagen und Löschverfahren.

Trainingsdaten

Trainingsbeispiel

Training sample or example

Bedeutung

Eine Einheit, die an die Trainingspipeline übergeben wird, z. B. eine beschriftete Zeile, eine Sequenz, ein Bild, ein Gespräch oder ein Präferenzpaar.

Einsatz

Verwenden Sie es, wenn Schema, Sampling-Gewicht, Qualitätsprüfungen und die Größe des Datensatzes definiert werden müssen.

Beispiel

Ein Beispiel enthält Eingaben, Zielwerte, eine Quell-ID, Metadaten zu den Rechten und den Qualitätsstatus.

Trainingsdaten

Label

Label

Bedeutung

Eine Zielklasse, ein Wert, ein Bereich, eine Antwort oder ein Urteil, das mit einem überwachten Trainingsbeispiel verknüpft ist.

Einsatz

Definieren Sie Labels mit einer dokumentierten Richtlinie und messen Sie die Übereinstimmung der Gutachter für mehrdeutige Aufgaben.

Beispiel

Beschriften Sie jedes Ticket mit einer genehmigten Absicht und protokollieren Sie unklare Fälle zur Entscheidung.

Trainingsdaten

Datenaugmentation

Data augmentation

Bedeutung

Erstellen zusätzlicher Trainingsbeispiele durch Anwendung kontrollierter Transformationen, die das beabsichtigte Label oder Verhalten beibehalten.

Einsatz

Verwenden Sie es, um die Abdeckung zu verbessern und sicherzustellen, dass Transformationen realistisch bleiben und die Zielbedeutung nicht ändern.

Beispiel

Erstellt Paraphrasen-Varianten und überprüft dann, ob jede Variante die ursprüngliche Absicht beibehält.

Trainingsdaten

Datenkontamination

Data contamination

Bedeutung

Das Vorhandensein von Evaluationsbeispielen oder ähnlichen Varianten in den Trainingsdaten, was dazu führt, dass die Evaluation die Generalisierung überbewertet.

Einsatz

Überprüfen Sie die genaue und semantische Übereinstimmung vor dem Training und stellen Sie geschützte Evaluationsdatensätze bereit.

Beispiel

Vergleichen Sie Hashes und Near-Duplicate-Embeddings über die Trainings- und Evaluationsdatensätze.

Trainingsdaten

Trainingstokenisierung

Training tokenization

Bedeutung

Die Umwandlung von Rohdaten in Modelleingabeeinheiten und -kennungen, die während des Trainings verwendet werden.

Einsatz

Halten Sie die Auswahl des Tokenizers, das Vokabular, die Normalisierung und die speziellen Token mit dem Modell und der Serving-Pipeline kompatibel.

Beispiel

Speichern Sie Tokenizer-Version, Vokabulargröße, spezielle Token, Trunkierung und maximale Sequenzlänge.

Trainingsdaten

Datenteilung

Data split

Bedeutung

Die Aufteilung von Beispielen in Trainings-, Validierungs- und Testmengen.

Einsatz

Teilen Sie die Daten nach Benutzer, Zeit, Dokument oder Gruppe auf, um zu vermeiden, dass beim zufälligen Auswählen von Zeilen nahezu identische Datensätze in verschiedenen Teilmengen entstehen.

Beispiel

Aufteilen nach Kundenkonto, sodass Konversationen von einem Kunden nicht sowohl in den Trainings- als auch in den Testdatensatz gelangen.

Trainingsdaten

Daten-Deduplizierung

Data deduplication

Bedeutung

Die Erkennung und Entfernung oder Gruppierung identischer und nahezu identischer Trainingsbeispiele.

Einsatz

Verwenden Sie es, um das Auswendiglernen, das Ungleichgewicht der Datenquellen, den unnötigen Rechenaufwand und die Kontamination von Trainings- und Testdaten zu reduzieren.

Beispiel

Duplizieren Sie exakte Hashes, normalisierten Text und Dokumentsegmente mit hoher Ähnlichkeit, bevor Sie sie aufteilen.

Trainingsdaten

Synthetische Trainingsdaten

Synthetic training data

Bedeutung

Beispiele, die von Software oder Modellen generiert oder transformiert wurden, anstatt direkt aus realen Ereignissen zu stammen.

Einsatz

Verwenden Sie es, um seltene Fälle, Formate oder datenschutzfreundliche Simulationen abzudecken und dann Realismus und Bias zu validieren.

Vorsicht

Synthetische Daten können Verzerrungen, Fehler oder geschützte Ausdrücke aus der Quelle reproduzieren und erfordern dennoch Provenienz- und Qualitätsprüfungen.

Beispiel

Generieren Sie Dialoge für Sonderfälle, kennzeichnen Sie diese als synthetisch und überprüfen Sie sie, bevor Sie sie zum Training verwenden.

Trainingsdaten

Vertrauliche Trainingsdaten

Confidential training data

Bedeutung

Kundendaten, Geschäftsgeheimnisse, interne Dokumente, Anmeldedaten oder andere eingeschränkte Informationen, die für das Training in Betracht gezogen werden.

Einsatz

Ausschließen Sie dies standardmäßig, es sei denn, es gibt eine ausdrückliche Genehmigung, einen dokumentierten Zweck, eine strenge Zugriffskontrolle und einen genehmigten Aufbewahrungs- und Löschplan.

Vorsicht

Platzieren Sie niemals Anmeldedaten, Kundengeheimnisse oder Geschäftsgeheimnisse in einem Trainingsdienst, ohne die Genehmigung und die Richtlinien des Anbieters zu prüfen.

Beispiel

Sperren Sie Anmeldedaten und Geschäftsgeheimnisse während der Eingabe und leiten Sie unsichere Datensätze an einen autorisierten Prüfer weiter.

Trainingsdaten

Datenleck

Data leakage

Bedeutung

Die unbeabsichtigte Verwendung von Informationen während des Trainings, die in der beabsichtigten realen Vorhersageumgebung nicht verfügbar wären.

Einsatz

Überprüfen Sie Funktionen, Labels, Zeitstempel und Vorverarbeitung, um unrealistisch hohe Evaluationswerte zu vermeiden.

Beispiel

Entfernen Sie Felder zur Nachbearbeitung, bevor Sie ein Modell trainieren, das die Eskalation von Tickets bei der Erfassung vorhersagt.

Trainingsschleife

Batch

Batch

Bedeutung

Eine Gruppe von Trainingsbeispielen, die zusammen in einer einzigen Vorwärts- und Rückwärtsberechnung verarbeitet werden.

Einsatz

Verwenden Sie Batches, um die Recheneffizienz, die Speichernutzung und die Gradientenstabilität auszugleichen.

Beispiel

Fügen Sie jede Charge mit gepufften Sequenzen und einer Aufmerksamkeitsmaske zusammen.

Trainingsschleife

Mini-Batch

Mini-batch

Bedeutung

Eine kleinere Teilmenge der Trainingsdaten, die für eine Gradientenberechnung verwendet wird, anstatt den gesamten Datensatz auf einmal zu verarbeiten.

Einsatz

Verwenden Sie es als die Standard-Einheit für stochastische Optimierung auf großen Datensätzen.

Beispiel

Mischt den Trainingsdatensatz und erstellt Mini-Batches mit ähnlicher Sequenzlänge.

Trainingsschleife

Batch-Größe

Batch size

Bedeutung

Die Anzahl der Beispiele oder Sequenzen, die in einem Batch enthalten sind.

Einsatz

Optimieren Sie ihn entsprechend der Sequenzlänge, dem Speicher, dem Optimierungsverhalten und der effektiven Batch-Größe.

Beispiel

Beginnen Sie mit einer Batch-Größe von 4 pro Gerät und verwenden Sie Gradientenakkumulation nur, wenn dies aufgrund von Speicherbedarf erforderlich ist.

Trainingsschleife

Trainingsschritt / Iteration

Training step / iteration

Bedeutung

Ein Optimierungs-Update-Zyklus, der einen oder mehrere Mikro-Batches verbrauchen kann.

Einsatz

Verwenden Sie es für das Logging, die Planung, das Speichern von Kontrollpunkten und den Vergleich der Ausführungsdauer.

Beispiel

Protokollieren Sie den Trainingsverlust und die Lernrate alle 20 Optimierungsschritte.

Trainingsschleife

Epoche

Epoch

Bedeutung

Ein vollständiger Durchlauf des Trainingsdatensatzes unter Verwendung des konfigurierten Sampling-Prozesses.

Einsatz

Verwenden Sie Epoch-Zahlen zusammen mit Validierungskurven, anstatt mehr Epochen automatisch als besser zu betrachten.

Beispiel

Bei 1.000 Beispielen und einer Batch-Größe von 50 enthält eine Epoche etwa 20 Batches.

Trainingsschleife

Vorwärtslauf

Forward pass

Bedeutung

Die Berechnung, die die Modelleingaben durch das Netzwerk sendet, um Vorhersagen und einen Verlustwert zu erzeugen.

Einsatz

Verwenden Sie es, wenn der erste Teil jeder Trainingsiteration erklärt wird, bevor Gradienten berechnet werden.

Beispiel

Führen Sie den Forward-Pass mit Token-IDs durch und vergleichen Sie die vorhergesagten Token mit den Ziel-Labels.

Trainingsschleife

Verlustfunktion

Loss function

Bedeutung

Eine Funktion, die misst, wie weit die Modellvorhersagen vom Trainingsziel entfernt sind.

Einsatz

Wählen Sie es, um es an die Aufgabe, das Label-Format, die Klassenbalance und das gewünschte Verhalten anzupassen.

Beispiel

Verfolgen Sie den Trainingsverlust auf Token-Ebene und die Aufgabenmetriken auf Sequenzebene separat.

Trainingsschleife

Rückpropagation

Backpropagation

Bedeutung

Der Prozess der Rückpropagation von Verlustderivaten durch das Modell, um Gradienten zu berechnen.

Einsatz

Verwenden Sie es, um zu erklären, wie ein Fehlersignal zu trainierbaren Parametern gelangt.

Beispiel

Propagieren Sie den skalierten Verlust zurück, beschneiden Sie die Gradienten und aktualisieren Sie dann den Optimierer.

Trainingsschleife

Gradient

Gradient

Bedeutung

Eine Menge von Ableitungen, die angeben, wie sich Änderungen von Parametern auf den Verlust auswirken würden.

Einsatz

Überwachen Sie Gradienten, um Instabilität, verschwindende Aktualisierungen oder explodierende Gradienten zu erkennen.

Beispiel

Benachrichtigen Sie, wenn die Gradienten-Norm vor einem Optimierungsschritt nicht endlich wird.

Trainingsschleife

Optimierer

Optimizer

Bedeutung

Ein Algorithmus, der trainierbare Parameter mithilfe von Gradienten und konfigurierter Zustände aktualisiert.

Einsatz

Wählen Sie es aus und konfigurieren Sie es zusammen mit der Lernrate, der Gewichtungsreduzierung und den Precision-Einstellungen.

Beispiel

Verwenden Sie AdamW mit explizit festgelegter Lernrate, Gewichtungsabnahme und Optimierer-Version.

Trainingsschleife

Stochastischer Gradientenabstieg (SGD)

Stochastic gradient descent (SGD)

Bedeutung

Eine Optimierungsmethode, die Parameter aus Gradienten aktualisiert, die auf einzelnen Beispielen oder Mini-Batches geschätzt werden.

Einsatz

Verwenden Sie es als ein grundlegendes Optimierungskonzept und vergleichen Sie Momentum- oder Scheduling-Optionen für die Aufgabe.

Beispiel

Führen Sie SGD mit einer aufgezeichneten Lernrate, einem Momentum, einem Scheduler und einer Batch-Konfiguration aus.

Trainingsschleife

AdamW

AdamW

Bedeutung

Ein adaptiver Optimierer, der die Gewichtungsreduktion von der gradientenbasierten Parameteraktualisierung entkoppelt.

Einsatz

Verwenden Sie es, wenn dies von der Trainingsmethode unterstützt wird und alle Optimizer-Hyperparameter zur Reproduzierbarkeit aufgezeichnet werden.

Beispiel

Zeichnen Sie die AdamW-Lernrate, Betas, Epsilon, Gewichtungsabfall und die Implementierungsversion auf.

Trainingsschleife

Lernrate

Learning rate

Bedeutung

Ein Hyperparameter, der die Skalierung der Parameteränderungen während der Optimierung steuert.

Einsatz

Optimieren Sie ihn sorgfältig, da zu hohe Werte das Training destabilisieren können, während zu niedrige Werte den Fortschritt behindern können.

Vorsicht

Es gibt keine universell richtige Lernrate; geeignete Werte hängen vom Modell, der Methode, den Daten, der Batch-Größe und dem Optimierer ab.

Beispiel

Vergleichen Sie die Kandidaten-Lernraten unter Verwendung der gleichen Datenaufteilung, des gleichen Seeds und des gleichen Bewertungsplans.

Trainingsschleife

Lernraten-Scheduler

Learning-rate scheduler

Bedeutung

Eine Regel, die die Lernrate während der Trainingsschritte ändert.

Einsatz

Verwenden Sie es, um das Training aufzuwärmen, Updates zu reduzieren oder auf eine Plateau-Phase gemäß dem Experimentplan zu reagieren.

Beispiel

Erwärmen Sie sich für den geplanten Bruchteil der Schritte und verwenden Sie dann eine Kosinus-Abnahme, um die Endrate zu erreichen.

Trainingsschleife

Aufwärmen

Warmup

Bedeutung

Eine anfängliche Phase, die die Lernrate allmählich von einem kleinen Wert erhöht.

Einsatz

Verwenden Sie es, um instabile Updates zu Beginn des Trainings zu reduzieren, insbesondere bei der Optimierung großer Modelle.

Beispiel

Speichern Sie die Warmup-Schritte als Teil der reproduzierbaren Trainingskonfiguration.

Verallgemeinerung und Qualität

Trainingsverlust

Training loss

Bedeutung

Der Verlust wird auf Batches berechnet, die zur Aktualisierung der Modellparameter verwendet werden.

Einsatz

Verwenden Sie es, um den Optimierungsprozess zu überwachen, behandeln Sie aber einen niedrigen Wert nicht als Beweis für Verallgemeinerung.

Beispiel

Stellen Sie den geglätteten Trainingsverlust pro Optimierungsschritt dar und untersuchen Sie plötzliche Spitzen oder nicht-endliche Werte.

Verallgemeinerung und Qualität

Validierungsverlust

Validation loss

Bedeutung

Der Verlust wird auf separaten Validierungsbeispielen gemessen, ohne die Parameter anhand dieser Beispiele zu aktualisieren.

Einsatz

Vergleichen Sie es mit dem Trainingsverlust, um Overfitting zu erkennen und Kandidaten-Checkpoints auszuwählen.

Beispiel

Behalten Sie den Checkpoint mit dem besten genehmigten Validierungsverhalten, nicht unbedingt die letzte Epoche.

Verallgemeinerung und Qualität

Konvergenz

Convergence

Bedeutung

Der Zustand, in dem Trainingsaktualisierungen schrittweise kleinere oder stabilere Verbesserungen erzielen.

Einsatz

Bewerten Sie es anhand von Trainings- und Validierungskurven zusammen mit Aufgabenmetriken, nicht nur anhand des Trainingsverlusts.

Beispiel

Behandeln Sie den Durchlauf als konvergiert, erst nachdem die Validierungsmetriken über alle Kontrollpunkte stabil sind.

Verallgemeinerung und Qualität

Verallgemeinerung

Generalization

Bedeutung

Die Fähigkeit eines trainierten Modells, bei relevanten Beispielen gut abzuschneiden, auf denen es nicht trainiert wurde.

Einsatz

Es anhand repräsentativer, nicht verwendeter und realer Fälle messen.

Beispiel

Vergleichen Sie die Leistung über unbekannte Benutzer, Zeiträume, Sprachen und schwierige Sonderfälle.

Verallgemeinerung und Qualität

Overfitting

Overfitting

Bedeutung

Ein Zustand, in dem ein Modell die Trainingsdaten gut anpasst, aber auf unbekannten Daten schlechter abschneidet.

Einsatz

Achten Sie auf eine zunehmende Diskrepanz zwischen dem Verhalten beim Training und bei der Validierung und reagieren Sie mit Daten, Regularisierung oder einem früheren Abbruch.

Beispiel

Stoppen Sie das Training, wenn der Validierungsverlust schlechter wird, während der Trainingsverlust weiterhin sinkt.

Verallgemeinerung und Qualität

Unteranpassung

Underfitting

Bedeutung

Ein Zustand, in dem ein Modell nicht genügend Struktur lernt, um auch auf Trainingsdaten gut zu funktionieren.

Einsatz

Überprüfen Sie die Modellkapazität, die Qualität von Funktionen oder Daten, die Optimierungseinstellungen und die Trainingsdauer.

Beispiel

Untersuchen Sie Underfitting, wenn sowohl die Trainings- als auch die Validierungsmetriken schlecht bleiben.

Verallgemeinerung und Qualität

Regularisierung

Regularization

Bedeutung

Techniken, die das Lernen einschränken oder formen, um Overfitting zu reduzieren und das Verhalten auf unbekannten Daten zu verbessern.

Einsatz

Wählen Sie Regularisierung zusammen mit der Modellkapazität, dem Datenvolumen, der Augmentierung und dem Early Stopping.

Beispiel

Vergleichen Sie das Validierungsverhalten mit den dokumentierten Einstellungen für Weight Decay und Dropout.

Verallgemeinerung und Qualität

Gewichtungsabnahme

Weight decay

Bedeutung

Eine Regularisierungseinstellung, die verhindert, dass Parameterwerte während der Optimierung übermäßig groß werden.

Einsatz

Optimieren Sie ihn mit dem Optimierer und überprüfen Sie, welche Parameter vom Abbau ausgeschlossen sind.

Beispiel

Speichern Sie die Gewichtungsabnahme (weight decay) und die Parametergruppen, auf die sie angewendet wird.

Verallgemeinerung und Qualität

Dropout

Dropout

Bedeutung

Eine Regularisierungstechnik, die während des Trainings zufällig ausgewählte Aktivierungen deaktiviert.

Einsatz

Verwenden Sie dies nur, wenn die Architektur und die Trainingsmethode dies unterstützen, und deaktivieren Sie das Trainingsverhalten während der Bewertung.

Beispiel

Legen Sie die unterstützte Dropout-Rate fest und protokollieren Sie diese, und vergleichen Sie dann die Validierungsleistung.

Verallgemeinerung und Qualität

Gradientenbeschneidung

Gradient clipping

Bedeutung

Begrenzung der Gradientenmagnitude oder des Vektornorm vor einer Optimierungsaktualisierung, um instabile Schritte zu reduzieren.

Einsatz

Verwenden Sie es, wenn Gradienten-Spitzenwerte möglich sind und überwacht wird, wie oft Clipping auftritt.

Beispiel

Beschneiden Sie die globale Gradientenorm auf den dokumentierten Schwellenwert und protokollieren Sie die beschnittenen Schritte.

Verallgemeinerung und Qualität

Frühes Stoppen

Early stopping

Bedeutung

Beenden Sie einen Trainingslauf, wenn eine überwachte Validierungsmetrik nicht mehr verbessert wird, und zwar gemäß definierten Regeln.

Einsatz

Verwenden Sie Geduld und Mindestverbesserungsschwellenwerte, um nicht auf eine einzelne verrauschte Bewertung zu reagieren.

Beispiel

Stoppen Sie nach drei Validierungsprüfungen ohne nennenswerte Verbesserung und stellen Sie den besten Checkpoint wieder her.

Verallgemeinerung und Qualität

Trainings-Checkpoint

Training checkpoint

Bedeutung

Ein gespeicherter Trainingszustand, der Modellparameter und oft Optimizer, Scheduler und Fortschrittsinformationen enthält.

Einsatz

Verwenden Sie Checkpoints für Wiederherstellung, Vergleich, Bewertung und kontrollierte Förderung.

Beispiel

Speichern Sie versionierte Checkpoints mit Datensatz-, Code-, Tokenizer- und Konfigurations-IDs.

Berechnung und Reproduzierbarkeit

AI-Beschleuniger (GPU, TPU, NPU)

AI accelerator (GPU, TPU, NPU)

Bedeutung

Spezialisierte Rechenhardware, die verwendet wird, um Tensor-Operationen für das Training und die Inferenz von Modellen zu beschleunigen.

Einsatz

Wählen Sie Hardware entsprechend der Framework-Unterstützung, den numerischen Formaten, dem Speicher, der Verbindungstechnik, der Verfügbarkeit und den Kosten.

Beispiel

Zeichnen Sie den Typ des Beschleunigers, die Anzahl, den Speicher, die Laufzeit, den Treiber und die geschätzten Trainingskosten auf.

Berechnung und Reproduzierbarkeit

Videospeicher (VRAM)

Video memory (VRAM)

Bedeutung

Speicher auf einem Beschleuniger, der für Modellgewichte, Optimierzustände, Aktivierungen, Gradienten und Batches verwendet wird.

Einsatz

Schätzen Sie dies vor dem Training und passen Sie die Batch-Größe, die Genauigkeit, die Aufteilung oder das Checkpointing bei Bedarf an.

Beispiel

Den maximal zugewiesenen VRAM für die längste unterstützte Sequenz und die effektive Batch-Konfiguration messen.

Berechnung und Reproduzierbarkeit

FP16 und BF16.

FP16 and BF16

Bedeutung

Zahlenformate mit reduzierter Präzision werden häufig verwendet, um den Trainingsspeicher zu reduzieren und den Durchsatz des Beschleunigers zu erhöhen.

Einsatz

Verwenden Sie nur Formate, die von der Hardware und dem Framework unterstützt werden, mit Prüfungen für endliche Werte und Qualität.

Beispiel

Vergleichen Sie die Stabilität des Trainings mit BF16 oder FP16 und die Qualität der Ausgabe mit der zugelassenen Baseline.

Berechnung und Reproduzierbarkeit

Gradientenakkumulation

Gradient accumulation

Bedeutung

Kombinieren von Gradienten aus mehreren Micro-Batches vor einer Optimizer-Aktualisierung.

Einsatz

Verwenden Sie es, um eine größere effektive Batch-Größe zu erreichen, wenn der Geräte-Speicher begrenzt ist.

Beispiel

Effektive Batch-Größe = Batch pro Gerät × Akkumulationsschritte × Anzahl der datenparallelen Geräte.

Berechnung und Reproduzierbarkeit

Training mit gemischter Präzision

Mixed-precision training

Bedeutung

Training, das mehr als eine numerische Präzision verwendet, um Geschwindigkeit oder Speichereffizienz zu verbessern, während die notwendige Stabilität erhalten bleibt.

Einsatz

Verwenden Sie unterstützte FP16- oder BF16-Workflows mit Verlustüberwachung und Überprüfung endlicher Werte.

Beispiel

Aktivieren Sie BF16 auf kompatibler Hardware und überprüfen Sie die Verlustparität im Vergleich zum Basis-Lauf.

Berechnung und Reproduzierbarkeit

Gradienten-Checkpointing

Gradient checkpointing

Bedeutung

Eine speichereffiziente Technik, bei der ausgewählte Aktivierungen während der Rückpropagation neu berechnet werden, anstatt sie alle zu speichern.

Einsatz

Verwenden Sie es, wenn der Speicher die Einschränkung darstellt und zusätzliche Berechnungen akzeptabel sind.

Beispiel

Aktivieren Sie Gradienten-Checkpointing, um längere Sequenzen zu verarbeiten, und messen Sie dann die Verlangsamung des Trainings.

Berechnung und Reproduzierbarkeit

Verteiltes Training

Distributed training

Bedeutung

Training, das die Berechnung oder den Modellzustand über mehrere Beschleuniger oder Maschinen hinweg koordiniert.

Einsatz

Verwenden Sie es, wenn ein Gerät die Anforderungen an die Modellgröße oder die Trainingszeit nicht erfüllen kann.

Beispiel

Zeichnen Sie die Datenparallelisierungsstrategie, die Weltgröße, die Sharding-Richtlinie, die Netzwerkkonfiguration und das Wiederherstellungsverfahren auf.

Berechnung und Reproduzierbarkeit

Datenparallelität

Data parallelism

Bedeutung

Replikation eines Modells auf verschiedenen Worker-Prozessen, die unterschiedliche Datenmengen verarbeiten und Updates synchronisieren.

Einsatz

Verwenden Sie es, wenn das Modell auf jedem Worker passt und mehr Batch-Durchsatz benötigt wird.

Beispiel

Speichern Sie die Anzahl der Worker, die globale Batch-Größe, die Gradientensynchronisation und das Verhalten bei Fehlern.

Berechnung und Reproduzierbarkeit

Modellparallelität

Model parallelism

Bedeutung

Aufteilen der Modellberechnung oder -parameter auf mehrere Geräte, da ein einzelnes Gerät das gesamte Modell nicht effizient verarbeiten oder speichern kann.

Einsatz

Verwenden Sie Tensor-, Pipeline- oder Sharded-Ansätze, je nach Architektur und Framework-Unterstützung.

Beispiel

Dokumentieren Sie die Partitionierungsstrategie, die Kommunikationskosten, das Checkpoint-Format und die Kompatibilität mit dem Betrieb.

Berechnung und Reproduzierbarkeit

Zufallswert

Random seed

Bedeutung

Ein Wert, der zur Initialisierung von Pseudo-Zufallsoperationen wie Shuffling, Sampling, Dropout und Parameterinitialisierung verwendet wird.

Einsatz

Zeichnen Sie dies auf, um die Wiederholbarkeit zu gewährleisten, wobei zu beachten ist, dass verteilte Hardware und einige Kernel möglicherweise nicht deterministisch sind.

Beispiel

Vergleichen Sie wichtige Ergebnisse über mehrere aufgezeichnete Seeds anstatt sich auf einen einzigen günstigen Durchlauf zu verlassen.

Berechnung und Reproduzierbarkeit

Trainingsreproduzierbarkeit

Training reproducibility

Bedeutung

Die Fähigkeit, einen Durchlauf so genau zu wiederholen, dass seine Ergebnisse erklärt und verglichen werden können.

Einsatz

Versionsdaten, Code, Modell, Tokenizer, Abhängigkeiten, Seeds, Konfiguration und Hardware-Details.

Beispiel

Speichern Sie ein Laufmanifest, das Commit-ID, Dataset-Hash, Seed, Package Lock und Checkpoint-URI enthält.

Batch, Mini-Batch, Schritt und Epoche

Diese Einheiten beschreiben verschiedene Teile einer Trainingsdurchführung und sollten nicht austauschbar verwendet werden.

BegriffBedeutung
BatchEine Gruppe, die zusammen in einer einzigen Vorwärts-/Rückwärtsberechnung verarbeitet wird.
Mini-BatchEin praktischer, kleinerer Teil, der anstelle des gesamten Datensatzes verwendet wird.
TrainingsschrittEin Optimierungs-Update, möglicherweise nach mehreren akkumulierten Mikro-Batches.
EpocheEin Durchlauf des Trainingsdatensatzes; 1.000 Beispiele mit einer Batch-Größe von 50 entsprechen etwa 20 Batches pro Epoche.

Häufig gestellte Fragen

Warum müssen Trainings-, Validierungs- und Testdaten getrennt sein?

Trainingsdaten aktualisieren Parameter, Validierungsdaten leiten Entwicklungsentscheidungen, und Testdaten schätzen die endgültige Leistung. Das Mischen der gleichen oder nahezu identischen Beispiele über diese Datensätze kann zu überhöhten Ergebnissen führen und eine schlechte Verallgemeinerung verbergen.

Wie hängen Batch-Größe, Trainingsschritte und Epochen zusammen?

Ein Epoch verarbeitet das Trainingsset einmal. Ohne Gradientenakkumulation sind die ungefähren Batches pro Epoch die Datensatzgröße geteilt durch die Batch-Größe. Mit Akkumulation und mehreren Workern unterscheidet man zwischen der Batch-Größe pro Gerät, der effektiven Batch-Größe und der globalen Batch-Größe.

Was bedeutet es, wenn der Trainingsverlust sinkt, aber der Validierungsverlust steigt?

Dies ist oft ein Zeichen für eine Überanpassung. Überprüfen Sie die Daten auf Überschneidungen und Qualität, und berücksichtigen Sie dann ein früheres Stoppen, Regularisierung, Augmentation, Modellkapazität und mehrere Metriken für verschiedene Aufgaben, anstatt nur eine Verlustfunktion.

Ist eine GPU immer erforderlich, um ein Modell zu trainieren?

Nein. Kleine Modelle und Experimente können auf CPUs ausgeführt werden, während größere neuronale Modelle in der Regel von GPUs, TPUs oder NPUs profitieren. Die Wahl hängt von der Framework-Unterstützung, der Modellgröße, der Sequenzlänge, der Zeit und dem Budget ab.

Können öffentlich zugängliche Daten für das Training verwendet werden?

Alleinige öffentliche Zugänglichkeit begründet keine Schulungsrechte. Überprüfen Sie Urheberrecht, Lizenz, Vertrag, Datenschutz, Zustimmung, Vertraulichkeit, Datenerfassungsrichtlinien und Anbieterbedingungen und bewahren Sie die Herkunft und die Löschverfahren auf.

Offizielle Referenzen

  • Google Machine Learning Glossary

    Offizielles Glossar für Training, Validierungs- und Testdatensätze, Batches, Epochen, Verlust, Overfitting und andere Grundlagen des maschinellen Lernens.

  • Hugging Face Transformers — Fine-tuning

    Offizielle Anleitung zur Tokenisierung, zu Trainingsargumenten, zu Datensätzen, zu Epochen, zur Batch-Größe, zur Lernrate, zur Bewertung und zum Checkpointing.

  • Hugging Face Transformers — Trainer

    Offizielle Beschreibung einer Trainingsschleife, die Batching, Forward-Pass, Verlust, Backpropagation, Gradienten und Parameteraktualisierungen abdeckt.

Verwandte Begriffsguides