AI Engineering Tools

Ingénierie de l’IA générative

Termes d’entraînement des modèles d’IA

Comprendre les données d'entraînement, les objectifs, les lots, les époques, la perte, les gradients, les optimiseurs, les taux d'apprentissage, la validation, le surapprentissage, les points de contrôle, l'entraînement distribué et la reproductibilité.

61 termes

Fondations de l'entraînement

Entraînement du modèle

Model training

Sens

Le processus d'ajustement des paramètres du modèle à partir des données afin que le modèle puisse effectuer un comportement ou une tâche cible.

Quand l’utiliser

Utilisez le terme pour le processus d'optimisation global, y compris la préparation des données, les exécutions de formation, la validation et la sélection des points de contrôle.

Exemple

Définissez l'objectif d'apprentissage, l'ensemble de données approuvé, le plan de validation, le budget de calcul et les critères d'arrêt avant l'exécution.

Fondations de l'entraînement

Pré-entraînement

Pre-training

Sens

Formation à grande échelle qui enseigne au modèle des modèles généraux avant qu'il ne soit adapté à une tâche ou un domaine plus restreint.

Quand l’utiliser

Utilisez-le pour distinguer la création d'un modèle de base du réglage fin ou de l'alignement ultérieurs.

Exemple

Pré-entraînez le modèle de base sur un corpus multilingue autorisé, puis évaluez la couverture linguistique.

Fondations de l'entraînement

Modèle de base

Foundation model

Sens

Un modèle pré-entraîné de manière générale conçu pour prendre en charge de nombreuses tâches et adaptations en aval.

Quand l’utiliser

Utilisez-le pour identifier le modèle général sur lequel s'appuient les invites, la récupération, les adaptateurs ou le réglage fin ultérieurs.

Exemple

Enregistrer la famille de modèles de base approuvée, la version, la licence et le chemin d'adaptation prévu.

Fondations de l'entraînement

Modèle de base

Base model

Sens

Le point de contrôle pré-entraîné spécifique utilisé comme point de départ pour l'inférence ou l'adaptation supplémentaire.

Quand l’utiliser

Utilisez l'identifiant de modèle et de révision exact afin que la formation et le déploiement puissent être reproduits.

Exemple

Le modèle de base : ID de modèle approuvé et révision immuable.

Fondations de l'entraînement

Paramètre du modèle

Model parameter

Sens

Une valeur numérique à l'intérieur d'un modèle qui peut être apprise pendant l'entraînement ou maintenue fixe par la méthode choisie.

Quand l’utiliser

Utilisez-le lorsque vous comparez les parties totales, figées et entraînables d'un modèle.

Exemple

Indiquer le nombre total de paramètres et le sous-ensemble mis à jour par la méthode d'entraînement.

Fondations de l'entraînement

Transfert d'apprentissage

Transfer learning

Sens

Réutilisation des connaissances acquises pour un contexte comme point de départ pour une autre tâche ou un domaine connexe.

Quand l’utiliser

Utilisez-le lorsqu'il est nécessaire d'adapter une représentation pré-entraînée au lieu d'entraîner un nouveau modèle à partir d'une initialisation aléatoire.

Exemple

Partir du modèle de langage approuvé et l'adapter à la classification d'intentions.

Fondations de l'entraînement

Objectif d'entraînement

Training objective

Sens

L'objectif mathématique ou comportemental qu'une exécution d'entraînement tente d'optimiser.

Quand l’utiliser

Définissez-le avant de choisir les données, les étiquettes, les fonctions de perte et les métriques d'évaluation.

Exemple

Objectif : prédire le prochain jeton tout en minimisant la perte de validation sur le corpus de domaine approuvé.

Fondations de l'entraînement

Apprentissage supervisé

Supervised learning

Sens

Entraînement à partir d'exemples qui associent les entrées aux étiquettes ou aux sorties attendues.

Quand l’utiliser

Utilisez-le lorsque des réponses, des classes ou des valeurs cibles fiables sont disponibles.

Exemple

Entraînez sur des questions de support associées à des étiquettes d'intention vérifiées.

Fondations de l'entraînement

Apprentissage auto-supervisé

Self-supervised learning

Sens

Entraînement qui dérive les cibles de prédiction de la structure même des données non étiquetées.

Quand l’utiliser

Utilisez-le pour la représentation à grande échelle ou l'apprentissage de modèles de langage, lorsque l'étiquetage manuel est impraticable.

Exemple

Masquez ou déplacez une partie de chaque séquence et entraînez le modèle à prédire le contenu manquant ou suivant.

Données d'entraînement

Ensemble de données d'entraînement

Training dataset

Sens

Les exemples utilisés pour calculer les gradients et mettre à jour les paramètres du modèle.

Quand l’utiliser

Créez-le à partir de données pertinentes, sous licence, représentatives et soumises à un contrôle qualité.

Attention

Ne supposez pas que les données accessibles au public sont automatiquement autorisées pour l'entraînement des modèles.

Exemple

Créer un ensemble de données d'entraînement versionné avec des métadonnées de source, de licence, de consentement, de langue et de qualité.

Données d'entraînement

Ensemble de validation

Validation dataset

Sens

Un ensemble de données mis de côté utilisé pendant le développement pour comparer les paramètres et surveiller la généralisation.

Quand l’utiliser

Utilisez-le pour la sélection des points de contrôle, l'arrêt anticipé et les décisions d'hyperparamètres sans mettre à jour les poids à partir de ses exemples.

Exemple

Évaluer la perte de validation à chaque époque et conserver le meilleur point de contrôle approuvé.

Données d'entraînement

Ensemble de données de test

Test dataset

Sens

Un ensemble de données distinct utilisé pour une estimation finale et moins biaisée après que les choix de développement sont terminés.

Quand l’utiliser

Utilisez-le uniquement après la sélection du modèle et des hyperparamètres pour éviter le réglage sur le test final.

Exemple

Verrouiller l'ensemble de tests avant l'expérimentation et signaler sa version avec le résultat final.

Données d'entraînement

Corpus d'entraînement

Training corpus

Sens

Un ensemble de texte, de code, d'images, d'audio ou d'autres matériaux préparés pour l'apprentissage du modèle.

Quand l’utiliser

Utilisez le terme lorsque vous discutez de la couverture des sources, de la provenance, du filtrage et des droits à l'échelle de la collecte.

Exemple

Sources du corpus de documents, dates de collecte, exclusions, base juridique et procédures de suppression.

Données d'entraînement

Exemple ou échantillon d'entraînement

Training sample or example

Sens

Une unité présentée à la pipeline d'entraînement, telle qu'une ligne étiquetée, une séquence, une image, une conversation ou une paire de préférences.

Quand l’utiliser

Utilisez-le lorsque vous définissez le schéma, le poids d'échantillonnage, les contrôles de qualité et ce qui compte pour la taille de l'ensemble de données.

Exemple

Un exemple contient l'entrée, la cible, l'ID de la source, les métadonnées des droits et l'état de la qualité.

Données d'entraînement

Étiquette

Label

Sens

Une classe, une valeur, une étendue, une réponse ou un jugement cible associés à un exemple d'apprentissage supervisé.

Quand l’utiliser

Définissez les étiquettes avec une grille documentée et mesurez l'accord des examinateurs pour les tâches ambiguës.

Exemple

Étiquetez chaque ticket avec une intention approuvée et enregistrez les cas incertains pour l'arbitrage.

Données d'entraînement

Augmentation des données

Data augmentation

Sens

Création d'exemples d'entraînement supplémentaires en appliquant des transformations contrôlées qui préservent l'étiquette ou le comportement prévu.

Quand l’utiliser

Utilisez-le pour améliorer la couverture tout en vérifiant que les transformations restent réalistes et ne modifient pas le sens cible.

Exemple

Créer des variantes de paraphrase, puis vérifier que chaque variante conserve l'étiquette d'intention originale.

Données d'entraînement

Contamination des données

Data contamination

Sens

La présence d'exemples d'évaluation ou de variantes proches dans les données d'entraînement, ce qui entraîne une surestimation de la généralisation lors de l'évaluation.

Quand l’utiliser

Vérifier la similarité exacte et sémantique avant l'entraînement et mettre en quarantaine les ensembles d'évaluation protégés.

Exemple

Comparer les hachages et les embeddings quasi-duplicatas entre les divisions d'entraînement et d'évaluation.

Données d'entraînement

Tokenisation de l'entraînement

Training tokenization

Sens

La conversion du contenu brut en unités d'entrée de modèle et en identifiants utilisés pendant l'entraînement.

Quand l’utiliser

Conservez la compatibilité du choix du tokenizer, du vocabulaire, de la normalisation et des jetons spéciaux avec le modèle et la chaîne de traitement.

Exemple

Enregistrer la version du tokenizer, la taille du vocabulaire, les jetons spéciaux, la troncature et la longueur maximale de la séquence.

Données d'entraînement

Division des données

Data split

Sens

La séparation des exemples en sous-ensembles d'entraînement, de validation et de test.

Quand l’utiliser

Divisez par utilisateur, par heure, par document ou par groupe lorsque des lignes aléatoires pourraient entraîner des doublons proches entre les sous-ensembles.

Exemple

Divisez par compte client afin que les conversations d'un même client n'apparaissent ni dans les données d'entraînement, ni dans les données de test.

Données d'entraînement

Déduplication des données

Data deduplication

Sens

La détection et la suppression ou le regroupement d'exemples d'entraînement identiques et quasi-dupliqués.

Quand l’utiliser

Utilisez-le pour réduire la mémorisation, le déséquilibre des données, le gaspillage de ressources de calcul et la contamination entraînement-test.

Exemple

Dédupliquez les hachages exacts, le texte normalisé et les segments de documents très similaires avant de les diviser.

Données d'entraînement

Données d'entraînement synthétiques

Synthetic training data

Sens

Exemples générés ou transformés par des logiciels ou des modèles, plutôt que collectés directement à partir d'événements réels.

Quand l’utiliser

Utilisez-le pour couvrir les cas rares, les formats ou les simulations préservant la confidentialité, puis validez le réalisme et les biais.

Attention

Les données synthétiques peuvent reproduire les biais, les erreurs ou les expressions protégées de la source et nécessitent toujours des vérifications de traçabilité et de qualité.

Exemple

Générez des dialogues de prise en charge des cas limites, étiquetez-les comme synthétiques et examinez-les avant l'entraînement.

Données d'entraînement

Données d'entraînement confidentielles

Confidential training data

Sens

Enregistrements clients, secrets commerciaux, documents internes, identifiants ou autres informations restreintes prises en compte pour l'apprentissage.

Quand l’utiliser

L'exclure par défaut, sauf s'il existe une autorisation explicite, un objectif documenté, un contrôle d'accès strict et un plan de conservation et de suppression approuvé.

Attention

Ne placez jamais d'informations d'identification, de secrets client ou de secrets commerciaux dans un service de formation sans autorisation approuvée et examen de la politique du fournisseur.

Exemple

Bloquez les informations d'identification et les secrets commerciaux lors de l'ingestion et acheminez les enregistrements incertains vers un examinateur autorisé.

Données d'entraînement

Fuite de données

Data leakage

Sens

L'utilisation involontaire d'informations pendant l'entraînement qui ne seraient pas disponibles dans le contexte de prédiction réel prévu.

Quand l’utiliser

Vérifier les fonctionnalités, les étiquettes, les horodatages et le prétraitement pour éviter des scores d'évaluation artificiellement élevés.

Exemple

Supprimer les champs de résolution ultérieure avant de former un modèle qui prédit l'escalade des tickets lors de la réception.

Boucle d'entraînement

Lot

Batch

Sens

Un groupe d'exemples d'entraînement traités ensemble dans un seul calcul avant et arrière.

Quand l’utiliser

Utilisez des lots pour équilibrer l'efficacité du calcul, l'utilisation de la mémoire et la stabilité du gradient.

Exemple

Assemblez chaque lot avec des séquences complétées et un masque d'attention.

Boucle d'entraînement

Mini-lot

Mini-batch

Sens

Un sous-ensemble plus petit de l'ensemble de données d'entraînement utilisé pour un seul calcul de gradient plutôt que de traiter l'ensemble des données à la fois.

Quand l’utiliser

Utilisez-le comme l'unité pratique standard pour l'optimisation stochastique sur de grands ensembles de données.

Exemple

Mélange l'ensemble d'entraînement et crée des mini-lots de longueur de séquence similaire.

Boucle d'entraînement

Taille du lot

Batch size

Sens

Le nombre d'exemples ou de séquences inclus dans un lot.

Quand l’utiliser

Ajustez-le en fonction de la longueur de la séquence, de la mémoire, du comportement de l'optimisation et de la taille de lot effective.

Exemple

Commencez avec une taille de lot par appareil de 4 et utilisez l'accumulation de gradient uniquement si cela est requis par la mémoire.

Boucle d'entraînement

Étape d'entraînement / itération

Training step / iteration

Sens

Un cycle de mise à jour de l'optimiseur, qui peut consommer un ou plusieurs micro-lots.

Quand l’utiliser

Utilisez-le pour la journalisation, la planification, la sauvegarde des points de contrôle et la comparaison de la durée d'exécution.

Exemple

Enregistrer la perte d'entraînement et le taux d'apprentissage toutes les 20 étapes de l'optimiseur.

Boucle d'entraînement

Époque

Epoch

Sens

Un passage complet à travers l'ensemble de données d'entraînement selon le processus d'échantillonnage configuré.

Quand l’utiliser

Utilisez des décomptes d'époque avec des courbes de validation plutôt que de considérer que davantage d'époques sont automatiquement meilleures.

Exemple

Pour 1 000 exemples et une taille de lot de 50, une époque contient environ 20 lots.

Boucle d'entraînement

Propagation directe

Forward pass

Sens

Le calcul qui envoie les entrées du modèle dans le réseau pour produire des prédictions et une valeur de perte.

Quand l’utiliser

Utilisez-le pour expliquer la première moitié de chaque itération d'entraînement avant que les gradients ne soient calculés.

Exemple

Exécuter la passe avant sur les identifiants de jeton et comparer les jetons prédits avec les étiquettes cibles.

Boucle d'entraînement

Fonction de perte

Loss function

Sens

Une fonction qui mesure la distance entre les prédictions du modèle et l'objectif d'entraînement.

Quand l’utiliser

Choisissez-le pour correspondre à la tâche, au format de l'étiquette, à l'équilibre des classes et au comportement souhaité.

Exemple

Suivez séparément la perte d'entraînement au niveau du jeton et les métriques de tâche au niveau de la séquence.

Boucle d'entraînement

Rétropropagation

Backpropagation

Sens

Le processus de propagation des dérivées de la perte vers l'arrière à travers le modèle pour calculer les gradients.

Quand l’utiliser

Utilisez-le pour expliquer comment un signal d'erreur atteint les paramètres entraînables.

Exemple

Propagez la perte mise à l'échelle, coupez les gradients, puis mettez à jour l'optimiseur.

Boucle d'entraînement

Gradient

Gradient

Sens

Un ensemble de dérivées indiquant comment les modifications des paramètres affecteraient la perte.

Quand l’utiliser

Surveiller les normes du gradient pour détecter l'instabilité, les mises à jour qui disparaissent ou les gradients qui explosent.

Exemple

Alerter lorsque la norme du gradient devient non finie avant une étape de l'optimiseur.

Boucle d'entraînement

Optimiseur

Optimizer

Sens

Un algorithme qui met à jour les paramètres entraînables à l'aide de gradients et d'un état configuré.

Quand l’utiliser

Sélectionnez et configurez-le avec le taux d'apprentissage, la décroissance du poids et les paramètres de précision.

Exemple

Utilisez AdamW avec un taux d'apprentissage, une décroissance du poids et une version de l'optimiseur enregistrés explicitement.

Boucle d'entraînement

Descente de gradient stochastique SGD

Stochastic gradient descent (SGD)

Sens

Une méthode d'optimisation qui met à jour les paramètres à partir de gradients estimés sur des exemples individuels ou des mini-lots.

Quand l’utiliser

Utilisez-le comme un concept fondamental d'optimiseur et comparez les choix de momentum ou de planification pour la tâche.

Exemple

Effectuer SGD avec un taux d'apprentissage, un momentum, un planificateur et une configuration de lot enregistrés.

Boucle d'entraînement

AdamW

AdamW

Sens

Un optimiseur adaptatif qui découple la décroissance des poids de la mise à jour des paramètres basée sur le gradient.

Quand l’utiliser

Utilisez-le lorsque cela est pris en charge par la recette d'entraînement et enregistrez tous les hyperparamètres de l'optimiseur pour la reproductibilité.

Exemple

Enregistrer le taux d'apprentissage AdamW, les valeurs bêta, epsilon, la décroissance du poids et la version de l'implémentation.

Boucle d'entraînement

Taux d'apprentissage

Learning rate

Sens

Un hyperparamètre contrôlant l'échelle des mises à jour de paramètres pendant l'optimisation.

Quand l’utiliser

Ajustez-le avec soin, car les valeurs trop élevées peuvent déstabiliser l'entraînement, tandis que les valeurs trop faibles peuvent ralentir les progrès.

Attention

Il n'existe pas de taux d'apprentissage universellement correct ; les valeurs appropriées dépendent du modèle, de la méthode, des données, de la taille du lot et de l'optimiseur.

Exemple

Comparer les taux d'apprentissage des candidats en utilisant la même division des données, la même graine et le même calendrier d'évaluation.

Boucle d'entraînement

Planificateur de taux d'apprentissage

Learning-rate scheduler

Sens

Une règle qui modifie le taux d'apprentissage au cours des étapes d'entraînement.

Quand l’utiliser

Utilisez-le pour amorcer l'entraînement, réduire les mises à jour ou réagir à une stagnation en fonction du plan de l'expérience.

Exemple

Effectuer un échauffement pour la fraction de pas prévue, puis utiliser une décroissance cosinus pour atteindre la vitesse finale.

Boucle d'entraînement

Échauffement

Warmup

Sens

Une période initiale qui augmente progressivement le taux d'apprentissage à partir d'une petite valeur.

Quand l’utiliser

Utilisez-le pour réduire les mises à jour instables au début de l'entraînement, en particulier dans l'optimisation des grands modèles.

Exemple

Enregistrer les étapes de préchauffage dans le cadre de la configuration de formation reproductible.

Généralisation et qualité

Perte d'entraînement

Training loss

Sens

La perte est calculée sur les lots utilisés pour mettre à jour les paramètres du modèle.

Quand l’utiliser

Utilisez-le pour surveiller les progrès de l'optimisation, mais ne considérez pas une faible valeur comme une preuve de généralisation.

Exemple

Tracez la perte d'entraînement lissée en fonction de l'étape de l'optimiseur et examinez les pics soudains ou les valeurs non finies.

Généralisation et qualité

Perte de validation

Validation loss

Sens

Perte mesurée sur des exemples de validation non utilisés pour mettre à jour les paramètres.

Quand l’utiliser

Le comparer à la perte d'entraînement pour détecter le surapprentissage et sélectionner les points de contrôle candidats.

Exemple

Conservez le point de contrôle avec le meilleur comportement de validation approuvé, et non nécessairement l'époque finale.

Généralisation et qualité

Convergence

Convergence

Sens

L'état dans lequel les mises à jour de l'entraînement produisent des améliorations progressivement plus faibles ou plus stables.

Quand l’utiliser

Évaluez-le à partir des courbes d'entraînement et de validation, ainsi que des métriques de tâche, et non à partir de la seule perte d'entraînement.

Exemple

Considérez l'exécution comme convergente uniquement après que les métriques de validation se soient stabilisées sur tous les points de contrôle.

Généralisation et qualité

Généralisation

Generalization

Sens

La capacité d'un modèle entraîné à bien performer sur des exemples pertinents sur lesquels il n'a pas été entraîné.

Quand l’utiliser

Mesurer cela sur des cas représentatifs, à la fois sur des données non utilisées et sur des cas réels.

Exemple

Comparer les performances auprès d'utilisateurs non vus, de périodes, de langues et de cas limites difficiles.

Généralisation et qualité

Surapprentissage

Overfitting

Sens

Une condition dans laquelle un modèle s'adapte étroitement aux données d'entraînement, mais fonctionne moins bien sur les données non vues.

Quand l’utiliser

Recherchez un écart croissant entre le comportement de l'entraînement et de la validation et répondez avec des données, une régularisation ou un arrêt anticipé.

Exemple

Arrêter lorsque la perte de validation s'aggrave alors que la perte d'entraînement continue de diminuer.

Généralisation et qualité

Sous-apprentissage

Underfitting

Sens

Une condition dans laquelle un modèle ne parvient pas à apprendre suffisamment de structure pour bien fonctionner, même sur les données d'entraînement.

Quand l’utiliser

Vérifier la capacité du modèle, la qualité des fonctionnalités ou des données, les paramètres d'optimisation et la durée de l'entraînement.

Exemple

Examinez le sous-apprentissage lorsque les métriques d'entraînement et de validation restent médiocres.

Généralisation et qualité

Régularisation

Regularization

Sens

Techniques qui limitent ou façonnent l'apprentissage afin de réduire le surapprentissage et d'améliorer le comportement sur les données non vues.

Quand l’utiliser

Choisissez la régularisation en fonction de la capacité du modèle, du volume de données, de l'augmentation et de l'arrêt anticipé.

Exemple

Comparer le comportement de validation avec les paramètres de décroissance de poids et de dropout documentés.

Généralisation et qualité

Décroissance du poids

Weight decay

Sens

Un paramètre de régularisation qui décourage les valeurs des paramètres de devenir excessivement grandes pendant l'optimisation.

Quand l’utiliser

Ajustez-le avec l'optimiseur et vérifiez quels paramètres sont exclus de la décroissance.

Exemple

Enregistrer la décroissance du poids et les groupes de paramètres auxquels elle s'applique.

Généralisation et qualité

Dropout

Dropout

Sens

Une technique de régularisation qui désactive aléatoirement des activations sélectionnées pendant l'entraînement.

Quand l’utiliser

Utilisez uniquement lorsque l'architecture et la méthode de formation le permettent, et désactivez le comportement de formation pendant l'évaluation.

Exemple

Définissez et enregistrez le taux de dropout pris en charge, puis comparez les performances de validation.

Généralisation et qualité

Élagage du gradient

Gradient clipping

Sens

Limiter l'amplitude ou la norme du gradient avant une mise à jour de l'optimiseur afin de réduire les étapes instables.

Quand l’utiliser

Utilisez-le lorsque des pics de gradient sont possibles et surveillez la fréquence à laquelle le clipping se produit.

Exemple

Limiter la norme globale du gradient à la valeur seuil documentée et enregistrer les étapes de limitation.

Généralisation et qualité

Arrêt anticipé

Early stopping

Sens

Arrêter une exécution d'entraînement lorsque une métrique de validation surveillée ne s'améliore plus selon des règles définies.

Quand l’utiliser

Utilisez la patience et les seuils d'amélioration minimale pour éviter de réagir à une seule évaluation bruyante.

Exemple

Arrêter après trois vérifications de validation sans amélioration significative et restaurer le meilleur point de contrôle.

Généralisation et qualité

Point de contrôle de l'entraînement

Training checkpoint

Sens

Un état d'entraînement enregistré contenant les paramètres du modèle et souvent l'optimiseur, le planificateur et les informations de progression.

Quand l’utiliser

Utilisez des points de contrôle pour la récupération, la comparaison, l'évaluation et la promotion contrôlée.

Exemple

Sauvegarder les points de contrôle versionnés avec les identifiants de l'ensemble de données, du code, du tokenizer et de la configuration.

Calcul et reproductibilité

Accélérateur d'AI (GPU, TPU, NPU)

AI accelerator (GPU, TPU, NPU)

Sens

Matériel informatique spécialisé utilisé pour accélérer les opérations de tenseurs pour l'entraînement et l'inférence des modèles.

Quand l’utiliser

Choisissez le matériel en fonction de la prise en charge des frameworks, des formats numériques, de la mémoire, de l'interconnexion, de la disponibilité et du coût.

Exemple

Enregistrer le type d'accélérateur, le nombre, la mémoire, le temps d'exécution, le pilote et le coût de formation estimé.

Calcul et reproductibilité

Mémoire vidéo VRAM

Video memory (VRAM)

Sens

Mémoire utilisée par un accélérateur pour les poids du modèle, les états de l'optimiseur, les activations, les gradients et les lots.

Quand l’utiliser

Estimer avant l'entraînement et ajuster la taille du lot, la précision, le découpage ou la sauvegarde lorsque cela est nécessaire.

Exemple

Mesurer la VRAM maximale allouée pour la séquence la plus longue prise en charge et la configuration de lot efficace.

Calcul et reproductibilité

FP16 et BF16

FP16 and BF16

Sens

Les formats numériques de précision réduite sont couramment utilisés pour réduire la mémoire de formation et augmenter le débit de l'accélérateur.

Quand l’utiliser

Utilisez uniquement les formats pris en charge par le matériel et le framework, avec des vérifications de valeurs finies et de qualité.

Exemple

Comparer la stabilité de l'entraînement BF16 ou FP16 et la qualité de la sortie avec la référence approuvée.

Calcul et reproductibilité

Accumulation de gradient

Gradient accumulation

Sens

Combiner les gradients de plusieurs micro-lots avant une mise à jour de l'optimiseur.

Quand l’utiliser

Utilisez-le pour atteindre une taille de lot effective plus importante lorsque la mémoire de l'appareil est limitée.

Exemple

Taille de lot effective = lot par appareil × étapes d'accumulation × nombre d'appareils parallèles aux données.

Calcul et reproductibilité

Entraînement en précision mixte

Mixed-precision training

Sens

Entraînement qui utilise plus d'une précision numérique pour améliorer la vitesse ou l'efficacité de la mémoire tout en préservant la stabilité nécessaire.

Quand l’utiliser

Utilisez les workflows FP16 ou BF16 pris en charge avec la surveillance de la perte et des valeurs finies.

Exemple

Activer BF16 sur le matériel compatible et vérifier la parité des pertes par rapport à l'exécution de référence.

Calcul et reproductibilité

Contrôle du gradient

Gradient checkpointing

Sens

Une technique d'économie de mémoire qui recalcule les activations sélectionnées pendant la rétropropagation au lieu de les stocker toutes.

Quand l’utiliser

Utilisez-le lorsque la mémoire est la contrainte et que le calcul supplémentaire est acceptable.

Exemple

Activer le checkpointing du gradient pour prendre en charge des séquences plus longues, puis mesurer la réduction de la vitesse d'entraînement.

Calcul et reproductibilité

Entraînement distribué

Distributed training

Sens

Entraînement qui coordonne le calcul ou l'état du modèle sur plusieurs accélérateurs ou machines.

Quand l’utiliser

Utilisez-le lorsque un seul appareil ne peut pas répondre aux exigences de taille du modèle ou de temps d'entraînement.

Exemple

Enregistrer la stratégie de parallélisme des données, la taille du monde, la politique de découpage, la configuration réseau et la procédure de récupération.

Calcul et reproductibilité

Parallélisme des données

Data parallelism

Sens

Répliquer un modèle sur plusieurs nœuds qui traitent différents lots de données et synchronisent les mises à jour.

Quand l’utiliser

Utilisez-le lorsque le modèle tient sur chaque nœud et qu'un débit de lots plus important est nécessaire.

Exemple

Enregistrer le nombre de workers, la taille globale du lot, la synchronisation du gradient et le comportement de récupération en cas de panne.

Calcul et reproductibilité

Parallélisme du modèle

Model parallelism

Sens

Répartir le calcul du modèle ou les paramètres sur plusieurs appareils, car un seul appareil ne peut pas contenir ou traiter l'ensemble du modèle efficacement.

Quand l’utiliser

Utilisez une approche tensorielle, une approche par pipeline ou une approche par découpage en fonction de la prise en charge de l'architecture et du framework.

Exemple

Documenter la stratégie de partitionnement, le coût de la communication, le format des points de contrôle et la compatibilité avec les services.

Calcul et reproductibilité

Graine aléatoire.

Random seed

Sens

Une valeur utilisée pour initialiser les opérations pseudo-aléatoires telles que le mélange, l'échantillonnage, le dropout et l'initialisation des paramètres.

Quand l’utiliser

L'enregistrer pour la reproductibilité, tout en reconnaissant que le matériel distribué et certains noyaux peuvent rester non déterministes.

Exemple

Comparer les résultats importants sur plusieurs graines enregistrées au lieu de se fier à une seule exécution favorable.

Calcul et reproductibilité

Reproductibilité de l'entraînement

Training reproducibility

Sens

La capacité de répéter une exécution suffisamment étroitement pour expliquer et comparer ses résultats.

Quand l’utiliser

Données de version, code, modèle, tokenizer, dépendances, graines, configuration et détails matériels.

Exemple

Stocker un manifeste d'exécution contenant l'ID de commit, le hachage de l'ensemble de données, la graine, le verrouillage du package et l'URI du point de contrôle.

Lot, mini-lot, étape et époque

Ces unités décrivent différentes parties d'une exécution d'entraînement et ne doivent pas être utilisées de manière interchangeable.

TermeSens
LotUn groupe traité ensemble dans un seul calcul avant/arrière.
Mini-lotUn sous-ensemble pratique plus petit utilisé à la place de l'ensemble de données complet.
Étape d'entraînementUne mise à jour de l'optimiseur, éventuellement après plusieurs micro-lots cumulés.
ÉpoqueUn passage à travers l'ensemble d'entraînement ; 1 000 exemples avec une taille de lot de 50 représentent environ 20 lots par époque.

Questions fréquentes

Pourquoi les données d'entraînement, de validation et de test doivent-elles être séparées ?

Les données d'entraînement mettent à jour les paramètres, les données de validation guident les choix de développement, et les données de test estiment les performances finales. Le mélange des mêmes exemples ou de presque des doublons entre eux peut gonfler les résultats et masquer une mauvaise généralisation.

Comment la taille du lot, les étapes d'entraînement et les époques sont-ils liés ?

Une époque traite l'ensemble des données d'entraînement une fois. Sans accumulation de gradient, le nombre approximatif de lots par époque est la taille de l'ensemble de données divisée par la taille du lot. Avec l'accumulation et plusieurs travailleurs, distinguez la taille du lot par appareil, effective et globale.

Que signifie-t-il lorsque la perte d'entraînement diminue mais que la perte de validation augmente ?

C'est un signal courant de surapprentissage. Examinez la superposition et la qualité des données, puis envisagez d'arrêter plus tôt, la régularisation, l'augmentation, la capacité du modèle et plusieurs métriques de tâche plutôt qu'une seule courbe de perte.

Est-il toujours nécessaire d'avoir une GPU pour l'entraînement du modèle ?

Non. Les petits modèles et les expériences peuvent fonctionner sur les CPU, tandis que les grands modèles neuronaux bénéficient généralement des GPU, des TPU ou des NPU. Le choix dépend du support du framework, de la taille du modèle, de la longueur de la séquence, du temps et du budget.

Les données accessibles au public peuvent-elles être utilisées pour l'entraînement ?

L'accès public seul ne suffit pas à établir les droits de formation. Vérifiez le droit d'auteur, la licence, le contrat, la confidentialité, le consentement, la confidentialité, les règles de collecte et les conditions du fournisseur, et conservez la provenance et les procédures de suppression.

Références officielles

  • Google Machine Learning Glossary

    Glossaire officiel pour l'entraînement, les ensembles de validation et de test, les lots, les époques, la perte, le surapprentissage et autres concepts fondamentaux de l'apprentissage automatique.

  • Hugging Face Transformers — Fine-tuning

    Guide présentant la tokenisation, les arguments d'entraînement, les ensembles de données, les époques, la taille des lots, le taux d'apprentissage, l'évaluation et la sauvegarde des points de contrôle.

  • Hugging Face Transformers — Trainer

    Description officielle d'une boucle d'entraînement couvrant le regroupement, la propagation avant, la perte, la rétropropagation, les gradients et les mises à jour des paramètres.

Guides terminologiques associés