Ingénierie de l’IA générative
Apprenez le réglage fin, le pré-entraînement continu, le réglage des instructions, SFT, PEFT, LoRA, QLoRA, les données de préférence, RLHF, DPO, GRPO, l'évaluation de la régression, les droits sur les données, la confidentialité, le versionnement et la restauration.
54 termes
Aperçu de l'affinage
Fine-tuning
Formation continue à partir d'un modèle pré-entraîné pour adapter son comportement à une tâche, un domaine, un format ou une préférence plus restreints.
Utilisez-le lorsque les invites et la récupération seules ne peuvent pas fournir un comportement appris suffisamment cohérent.
Affiner le modèle de base approuvé sur les réponses de support examinées, puis le comparer au modèle de référence inchangé.Aperçu de l'affinage
Downstream task
Une tâche d'application spécifique exécutée à l'aide d'un modèle pré-entraîné général.
Définissez-le précisément avant de collecter les données de réglage fin et de sélectionner les métriques.
Tâche en aval : classer les demandes de support coréennes dans la taxonomie de routage approuvée.Aperçu de l'affinage
Domain adaptation
Adaptation d'un modèle à la langue, aux motifs ou aux distributions trouvés dans un domaine ou un environnement particulier.
Utilisez-le lorsque le domaine cible diffère considérablement de la distribution d'entraînement générale du modèle.
Adapter le modèle aux documents de maintenance des semi-conducteurs autorisés et évaluer sur des manuels non vus.Aperçu de l'affinage
Continued pre-training
Pré-entraînement supplémentaire d'un modèle de base sur des données de domaine supplémentaires non étiquetées ou auto-supervisées avant le réglage spécifique à la tâche.
Utilisez-le pour l'adaptation linguistique à un domaine large lorsque un petit ensemble d'exemples d'instructions est insuffisant.
Continuez le pré-entraînement sur le corpus de domaine sous licence, puis effectuez un réglage fin supervisé.Aperçu de l'affinage
Instruction tuning
Affinage sur les instructions et les réponses souhaitées afin qu'un modèle suive plus fiablement diverses tâches en langage naturel.
Utilisez des instructions diverses et examinées qui reflètent les utilisateurs cibles, les tâches, les langues et les limites de sécurité.
Entraînez sur des exemples d'instructions-réponses couvrant la summarisation, l'extraction, le refus et la clarification.Aperçu de l'affinage
Post-training
Entraînement effectué après un pré-entraînement large pour améliorer le suivi des tâches, les préférences, la sécurité ou le comportement du déploiement.
Utilisez-le comme un terme général pour le réglage supervisé, l'optimisation des préférences, la modélisation des récompenses et les travaux connexes d'alignement.
Documentez chaque étape post-entraînement, ses données, son objectif, son point de contrôle et sa porte d'évaluation.Aperçu de l'affinage
Supervised fine-tuning (SFT)
Affinage qui apprend à partir des entrées associées aux réponses cibles ou aux étiquettes examinées.
Utilisez-le pour enseigner le format de réponse, la procédure de tâche, le ton et des exemples de comportement souhaité.
Exemple de SFT : requête de l'utilisateur, réponse de l'assistant approuvée, métadonnées et enregistrement des droits de données.Aperçu de l'affinage
Model alignment
L'effort pour que le comportement du modèle corresponde davantage aux intentions, aux politiques, aux préférences et aux exigences de sécurité définies par l'humain.
Utilisez-le comme l'objectif général qui sous-tend le réglage des instructions, l'optimisation des préférences, la formation à la sécurité et l'évaluation comportementale.
Définissez les objectifs d'alignement, les comportements inacceptables, les cas d'évaluation et les passerelles d'approbation humaine.Aperçu de l'affinage
Behavior adaptation
Modifier la façon dont un modèle répond, formate la sortie, suit les procédures ou gère l'incertitude sans supposer qu'il acquiert des connaissances factuelles actuelles.
Utilisez-le lorsque le changement souhaité concerne les schémas de réponse stables plutôt que les informations qui changent fréquemment.
Adapter le modèle pour demander des éclaircissements lorsque les preuves de compte requises sont manquantes.Méthodes et adaptateurs
Full fine-tuning
Affinage qui met à jour tous ou la plupart des paramètres du modèle de base.
Utilisez-le uniquement lorsque le bénéfice attendu justifie des coûts importants de mémoire, de calcul, de stockage et d'évaluation.
Comparer le fine-tuning complet par rapport à une référence PEFT dans les mêmes données et l'ensemble d'évaluation.Méthodes et adaptateurs
Parameter-efficient fine-tuning (PEFT)
Une famille de méthodes qui adapte un modèle tout en entraînant une relativement petite partie des paramètres.
Utilisez-le pour réduire la mémoire d'entraînement, le stockage et la taille des points de contrôle par tâche.
Entraînez un adaptateur PEFT distinct pour chaque domaine approuvé tout en maintenant les poids de base fixes.Méthodes et adaptateurs
Adapter
Un petit ensemble de paramètres supplémentaires ou modifiés attachés à un modèle de base pour une adaptation particulière.
Utilisez des adaptateurs pour séparer les modifications spécifiques à la tâche des poids de base partagés.
Charger l'adaptateur financier uniquement pour les flux de travail financiers autorisés.Méthodes et adaptateurs
Low-rank adaptation (LoRA)
Une méthode PEFT qui apprend des matrices de mise à jour de faible rang pour les modules de modèle sélectionnés tout en maintenant les poids de base inchangés.
Utilisez-le lorsque les états entraînables plus petits et les adaptateurs réutilisables conviennent à la conception du déploiement.
Applique LoRA aux projections d'attention sélectionnées et enregistre le rang, alpha, dropout et les modules cibles.Méthodes et adaptateurs
QLoRA
Une approche d'affinage qui entraîne des adaptateurs LoRA tandis que le modèle de base est chargé dans une représentation quantifiée.
Utilisez-le pour réduire la mémoire du modèle de base tout en validant la stabilité numérique et la qualité par rapport à une référence appropriée.
Charger le modèle de base approuvé dans le format de quantification pris en charge et entraîner uniquement l'adaptateur LoRA.Méthodes et adaptateurs
Quantization
Représenter les valeurs du modèle avec des formats de précision inférieure pour réduire les besoins en mémoire, en stockage ou en puissance de calcul.
Utilisez-le lorsque la méthode et le matériel pris en charge peuvent préserver une qualité et un comportement numérique acceptables.
Évaluer le modèle de base quantifié avant QLoRA et enregistrer le format, la largeur en bits, la bibliothèque et le type de données.Méthodes et adaptateurs
LoRA rank
La dimensionnalité des matrices de mise à jour de faible rang utilisées par un adaptateur LoRA.
Ajustez-le comme un compromis entre la capacité et les ressources, plutôt que de supposer qu'une valeur plus élevée est toujours meilleure.
Comparer le rang 8 et le rang 16 avec la même graine, les mêmes données, les mêmes étapes et la même suite d'évaluation.Méthodes et adaptateurs
LoRA alpha
Une configuration de mise à l'échelle qui influence la contribution des mises à jour LoRA apprises.
L'enregistrer avec le rang et les détails de l'implémentation, car l'interprétation peut dépendre de la bibliothèque.
Stocker le rang, alpha, dropout, les modules cibles et la version de la bibliothèque dans le manifeste de l'adaptateur.Méthodes et adaptateurs
Target modules
Les couches ou projections du modèle sélectionnées pour recevoir des mises à jour d'adaptateur.
Choisissez-les en fonction de l'architecture du modèle, de la prise en charge des méthodes et de la qualité mesurée.
Ciblez les projections de requêtes et de valeurs prises en charge, puis vérifiez le nombre de paramètres entraînables.Méthodes et adaptateurs
Trainable parameters
Le sous-ensemble de paramètres de modèle que l'optimisation est autorisée à mettre à jour.
Indiquer à la fois le nombre et le pourcentage afin de pouvoir comparer les exécutions complètes et celles qui sont efficaces en termes de paramètres.
Enregistrer les paramètres entraînés, le nombre total de paramètres, le pourcentage et la taille du point de contrôle de l'adaptateur.Méthodes et adaptateurs
Adapter merge
Combiner les mises à jour d'adaptateurs apprises dans les poids de base ou une autre représentation d'adaptateur pour le déploiement.
Utilisez-le uniquement après les vérifications de compatibilité, de licence, de précision, de qualité et de restauration.
Évaluer l'artefact fusionné par rapport à la configuration de base plus adaptateur avant la publication.Formats d'entraînement
Prompt-completion pair
Un exemple d'apprentissage contenant une invite d'entrée et la complétion souhaitée.
Utilisez un schéma cohérent et assurez-vous que les compléments démontrent le comportement cible exact.
{"prompt":"Classify the request","completion":"billing_refund"}Formats d'entraînement
Instruction-response pair
Un exemple supervisé associant une instruction ou une conversation en langage naturel à la réponse examinée que le modèle doit apprendre à produire.
Utilisez-le pour SFT et conservez les métadonnées de la source, des droits, de la révision et de la qualité avec chaque exemple.
{"messages":[{"role":"user","content":"배송 취소 방법을 알려줘"},{"role":"assistant","content":"주문 내역에서 취소할 주문을 선택하세요."}]}Formats d'entraînement
Chat template
Une règle de formatage qui convertit les messages système, utilisateur, assistant et outil en séquence de jetons attendue par un modèle de chat.
Utilisez le tokenizer et le modèle compatibles avec le modèle de base sélectionné pendant la formation et l'inférence.
Utiliser le même modèle de chat approuvé pour le prétraitement des ensembles de données et l'inférence en production.Formats d'entraînement
System, user, and assistant roles
Étiquettes de rôle des messages qui distinguent les instructions durables, les entrées utilisateur et les réponses du modèle dans les données d'entraînement conversationnelles.
Utilisez uniquement les rôles et l'ordre pris en charge par le modèle de chat sélectionné.
Système : politique et rôle ; utilisateur : demande ; assistant : réponse cible examinée.Formats d'entraînement
Response masking
Exclure les jetons d'entrée sélectionnés du calcul de la perte, afin que l'entraînement se concentre sur les jetons de réponse attendus.
Utilisez-le lorsque l'objectif est d'apprendre les sorties de l'assistant sans traiter chaque jeton d'invite comme une cible.
Masquer les jetons système et utilisateur pour éviter les fuites et vérifier les limites de l'assistant après la tokenisation.Formats d'entraînement
Sequence packing
Combiner plusieurs exemples plus courts en séquences d'entraînement plus longues pour réduire le remplissage et améliorer l'utilisation.
Utilisez-le uniquement lorsque les limites des exemples, le comportement de l'attention, les étiquettes et les jetons de fin restent corrects.
Regroupez les dialogues courts jusqu'à la limite de contexte et vérifiez qu'un exemple ne se propage pas au suivant.Formats d'entraînement
Fine-tuning context length
La longueur maximale du jeton utilisée pour chaque séquence d'entraînement après le formatage et la tokenisation.
Définissez-le en fonction du modèle de base, de la tâche cible, du budget mémoire, du risque de troncature et du modèle de requête de production.
Mesurer la distribution de la longueur des jetons et choisir une limite qui préserve le contenu essentiel sans remplissage excessif.Formats d'entraînement
Preference dataset
Un ensemble de données qui enregistre les jugements comparatifs ou les récompenses pour les sorties de modèles alternatifs.
Utilisez-le pour la modélisation de récompenses ou l'optimisation des préférences avec des règles d'étiquetage documentées et des contrôles de qualité des examinateurs.
Stocker l'invite, les réponses candidates, le résultat de préférence, la politique de justification, le groupe de réviseurs et le statut de consentement.Formats d'entraînement
Chosen and rejected response pair
Deux réponses candidates étiquetées pour indiquer laquelle satisfait le mieux les critères de préférence définis.
Utilisez des paires qui diffèrent de manière significative et appliquez une grille d'évaluation cohérente au lieu de simplement suivre le goût personnel.
Choisi : cite la politique fournie et exprime une incertitude. Rejeté : invente une date limite non prise en charge.Alignement des préférences
Human feedback
Jugements, étiquettes, démonstrations ou corrections structurés fournis par des personnes pour guider le comportement du modèle.
Définissez la qualification de l'examinateur, les instructions, la gestion des désaccords, la confidentialité, la rémunération et l'assurance qualité.
Utilisez des examinateurs calibrés et résolvez les désaccords importants avant l'entraînement.Alignement des préférences
Reinforcement learning from human feedback (RLHF)
Une famille d'approches post-entraînement qui utilise des signaux de préférence humaine et des techniques d'apprentissage par renforcement pour façonner le comportement du modèle.
Utilisez-le uniquement avec une conception de récompense claire, une configuration d'entraînement stable, une évaluation de sécurité et une gouvernance des données solides.
Entraînez et validez un signal de récompense, optimisez la politique de manière conservatrice et comparez-le à la référence SFT.Alignement des préférences
Reward model
Un modèle qui attribue des scores aux résultats candidats en fonction des préférences ou des signaux de qualité appris.
Utilisez-le lorsqu'un processus d'entraînement ou de sélection a besoin d'une approximation évolutive des préférences documentées.
Évaluer la précision, la calibration, le comportement des sous-groupes et la vulnérabilité du modèle de récompense, en utilisant des comparaisons indépendantes.Alignement des préférences
Preference optimization
Entraînement ultérieur qui met à jour le comportement du modèle en utilisant des préférences comparatives, des récompenses ou des signaux de rétroaction connexes.
Utilisez-le comme une catégorie générale qui comprend les approches d'apprentissage par renforcement et de préférence directe.
Définissez la grille de préférences, le comportement de référence, la méthode d'optimisation et les évaluations de conservation.Alignement des préférences
Reinforcement learning from AI feedback (RLAIF)
Une famille d'approches d'apprentissage par renforcement qui utilise les commentaires produits ou assistés par les systèmes d'AI au lieu de se fier uniquement aux jugements humains directs.
Utilisez-le uniquement avec des critères de rétroaction validés, une supervision humaine, des vérifications de biais et des protections contre les erreurs auto-renforçantes.
Calibrez les commentaires de l'AI par rapport à un ensemble d'évaluations humaines expertes avant l'optimisation de la politique.Alignement des préférences
Reinforcement fine-tuning
Affinage qui optimise le comportement du modèle à partir des signaux de récompense produits par les évaluateurs, les environnements, les règles ou les modèles de feedback.
Utilisez-le lorsque les résultats peuvent être notés de manière fiable et que le système d'entraînement peut surveiller la triche de récompense, la stabilité et la conservation des capacités.
Attribuer un score aux résultats de tâche vérifiables, optimiser de manière conservatrice et comparer aux références non modifiées et SFT.Alignement des préférences
Direct preference optimization (DPO)
Une méthode d'apprentissage par préférence qui utilise directement les réponses choisies et rejetées pour mettre à jour une politique par rapport à un comportement de référence.
Utilisez-le lorsque des paires de préférences appropriées et une implémentation d'entraînement compatible sont disponibles.
Entraînez DPO à partir du point de contrôle SFT approuvé et comparez l'utilité, la sécurité et la capacité de conservation.Alignement des préférences
Proximal policy optimization (PPO)
Un algorithme d'optimisation de la politique qui contraint la taille des mises à jour tout en optimisant un signal de récompense.
Utilisez-le dans les pipelines d'apprentissage par renforcement qui peuvent prendre en charge la surveillance des récompenses, de la valeur, du déroulement et de la stabilité.
Suivez la récompense, l'écart par rapport au modèle de référence, la longueur de la réponse et les métriques de sécurité pendant PPO.Alignement des préférences
Group relative policy optimization (GRPO)
Une méthode d'apprentissage par renforcement qui compare les récompenses parmi plusieurs sorties échantillonnées pour la même requête afin d'estimer l'avantage relatif.
Utilisez-le uniquement lorsque l'échantillonnage par groupe, la qualité des récompenses, la stabilité de l'entraînement et le coût de calcul conviennent à la tâche.
Échantillonner plusieurs solutions par problème, les noter avec des vérifications validées et optimiser à partir de récompenses relatives au groupe.Évaluation et régression
Fine-tuning validation loss
Perte mesurée sur des exemples de réglage fin non utilisés pour mettre à jour le modèle.
Utilisez-le avec les mesures de tâche, de sécurité et de comportement, car une faible perte seule ne prouve pas un meilleur comportement en production.
Sélectionnez les points de contrôle candidats à l'aide de la perte de validation et de la suite d'évaluation rigoureuse et standardisée.Évaluation et régression
Holdout evaluation
Évaluation sur des exemples délibérément exclus de l'entraînement et de la sélection du modèle.
Utilisez-le pour obtenir une estimation moins biaisée des performances sur des cas non vus et protégez l'ensemble contre les réglages répétés.
Exécuter la suite de tests de validation uniquement après avoir sélectionné le point de contrôle candidat.Évaluation et régression
Checkpoint selection
Choisir quel état d'entraînement enregistré doit progresser en fonction de critères de qualité, de sécurité, de coût et de régression prédéfinis.
Utilisez une suite d'évaluation fixe et évitez de sélectionner uniquement en fonction de la perte d'entraînement.
Promouvoir le point de contrôle qui réussit les tests de tâche, de sécurité, multilingue, de latence et de mémorisation.Évaluation et régression
Base-model comparison
Une évaluation contrôlée comparant le modèle affiné au modèle de base non modifié.
Utilisez des invites, une récupération, un décodage et des ensembles de données identiques pour attribuer les modifications au fine-tuning.
Indiquer les victoires, les égalités, les régressions, la latence et le coût pour les candidats de base et les candidats optimisés.Évaluation et régression
Catastrophic forgetting
Une perte de capacité précédemment apprise après un entraînement intensif sur de nouvelles données ou objectifs.
Tester les capacités générales, les langues, le comportement de sécurité et les tâches hors domaine après l'ajustement.
Exécuter la suite de tests de base avant et après le réglage fin et bloquer les régressions matérielles.Évaluation et régression
Capability regression
Une diminution mesurable d'une capacité de modèle existante après un réglage fin ou des modifications de déploiement.
Définissez les seuils de régression pour les tâches importantes avant la formation et la publication.
Échouer le déploiement si la précision de l'extraction multilingue dépasse le seuil approuvé.Évaluation et régression
Safety regression
Une diminution du rejet, de la confidentialité, de l'équité ou du comportement nuisible après l'adaptation.
Exécuter des évaluations adverses et des politiques ciblées pour chaque point de contrôle candidat.
Comparer les taux de jailbreak, de divulgation de PII, de biais et de complétion non sécurisée avec la référence approuvée.Évaluation et régression
Training-data memorization
La capacité d'un modèle à retenir et éventuellement à reproduire des exemples d'entraînement spécifiques, au-delà de la généralisation souhaitée.
Tester la reproduction de phrases inhabituelles, les secrets, les données personnelles et les résultats quasi-identiques avant la publication.
Testez les préfixes non vus et bloquez la publication si le modèle reproduit des suites sensibles.Évaluation et régression
Fine-tuning versus RAG
Une décision de conception entre modifier le comportement du modèle par l'apprentissage et fournir des connaissances externes au moment de la requête.
Privilégiez la récupération pour les faits actuels ou fréquemment modifiés et le fine-tuning pour un comportement, un format ou des schémas de tâches stables, puis évaluez une approche combinée si nécessaire.
L'affinage ne rend pas automatiquement les faits changeants fréquemment à jour ni ne fournit de citations de sources.
Utilisez RAG pour les politiques actuelles et SFT pour la structure de réponse approuvée.Droits et opérations
Fine-tuning data rights
Les licences, les autorisations, les conditions contractuelles et autres autorisations requises pour utiliser les données afin d'adapter un modèle.
Vérifiez les droits au niveau de la source et de l'exemple et conservez la provenance, les restrictions et les procédures de suppression.
La disponibilité en ligne, l'accès à l'API ou la possession d'un fichier ne confèrent pas à elles seules le droit d'affiner le modèle.
Enregistrer la source, le titulaire des droits, la licence ou l'autorisation, l'utilisation autorisée pour la formation, le territoire, la durée et le contact pour la suppression.Droits et opérations
Personal data in fine-tuning
Informations dans les données d'adaptation qui identifient ou peuvent être liées à un individu.
Minimiser, masquer, obtenir l'autorisation appropriée, restreindre l'accès et définir la conservation et la suppression avant l'entraînement.
Remplacer les noms et les identifiants de compte par des espaces réservés contrôlés et vérifier l'ensemble de données transformé.Droits et opérations
Model registry
Un catalogue contrôlé de métadonnées de modèle, d'adaptateur, de point de contrôle, d'évaluation, d'approbation et de déploiement.
Utilisez-le pour suivre les artefacts qui sont approuvés, déployés, obsolètes ou éligibles à un retour arrière.
Enregistrer le digest du modèle, la version de base, l'adaptateur, l'ensemble de données, les évaluations, le propriétaire, l'approbation et l'étape de déploiement.Droits et opérations
Adapter serving
Utilisation d'un modèle de base avec des adaptateurs spécifiques à la tâche ou au domaine, sélectionnables au moment de l'inférence.
Utilisez-le lorsque l'environnement d'exécution peut isoler les adaptateurs, autoriser la sélection, gérer la mémoire et préserver la compatibilité des versions.
Acheminer les demandes de financement approuvées vers l'adaptateur de financement et enregistrer la version exacte de la base plus l'adaptateur.Droits et opérations
Fine-tuning provider data policy
Les conditions générales et les contrôles du fournisseur de services pour les données d'entraînement téléchargées, la conservation, la suppression, l'accès au modèle, le traitement géographique et l'utilisation secondaire.
Examiner le contrat et la documentation du produit actuels avant de télécharger un ensemble de données, et enregistrer la configuration approuvée.
Les politiques du fournisseur peuvent changer ; vérifiez-les avant chaque programme de formation et ne supposez jamais que l'accès à l'API accorde des droits d'utilisation des données.
Vérifiez la période de conservation, le processus de suppression, le paramètre d'utilisation de la formation, les rôles d'accès, la région, le cryptage et la procédure d'incident.Droits et opérations
Fine-tuned model versioning
Suivi du modèle de base, de l'adaptateur ou du point de contrôle exact, des données, du code et de la configuration qui ont produit un modèle affiné.
Utilisez des identifiants immuables afin que les évaluations, les incidents, les retours en arrière et les audits fassent référence au même artefact.
Version = base model digest + adapter digest + dataset hash + code commit + training config.Droits et opérations
Fine-tuning rollback
Rétablir le trafic de production vers un modèle ou un adaptateur précédemment approuvé après la détection d'un problème.
Préparez-le avant la publication avec la conservation des artefacts, les vérifications de compatibilité, les contrôles de routage et l'autorité de décision.
Conservez la dernière combinaison base-plus-adaptateur approuvée et testez le processus de restauration.Commencez par l'approche la moins complexe qui répond de manière fiable à l'exigence, puis évaluez les combinaisons si nécessaire.
| Ce dont vous avez besoin | Approche à considérer en premier |
|---|---|
| Améliorez le format ou le ton de la réponse. | Conception de l'invite ou SFT |
| Réponse provenant de documents internes ou privés | RAG avec récupération basée sur la source. |
| Apprenez le comportement répétable des tâches | Affinage avec des exemples représentatifs |
| Adapter le langage et les modèles de l'industrie. | Pré-entraînement continu ou réglage fin du domaine |
| Apprenez des réponses préférées et rejetées | DPO ou une autre méthode de validation et d'optimisation des préférences. |
Les méthodes nécessitent des données différentes et optimisent différents signaux ; elles ne sont pas des étiquettes interchangeables pour le réglage fin.
| Méthode | Données et objectif typiques |
|---|---|
| SFT | Paires instruction-réponse ou exemples étiquetés ; apprenez à reproduire le comportement cible vérifié. |
| DPO | Paires de réponses choisies/rejetées ; augmente directement la préférence relative par rapport au comportement de référence. |
| GRPO | Sorties échantillonnées multiples et récompenses vérifiées ; optimiser à partir d'avantages relatifs au groupe. |
Le pré-entraînement enseigne des modèles généraux à grande échelle et produit un modèle de base. Le fine-tuning continue à partir de ce modèle avec des données et des objectifs plus spécifiques pour adapter une tâche, un format, un domaine, une préférence ou un comportement de sécurité.
Les connaissances qui changent fréquemment ou qui dépendent de la source conviennent généralement à RAG, car les documents peuvent être mis à jour et cités au moment de la requête. Le fine-tuning convient généralement mieux aux comportements, formats ou schémas de tâches stables. Certains systèmes combinent les deux.
LoRA entraîne des mises à jour d'adaptateurs de faible rang tout en maintenant les poids de base figés. QLoRA charge en outre le modèle de base dans une représentation quantifiée prise en charge pour réduire la mémoire. La qualité et la compatibilité doivent être évaluées pour la pile exacte.
Non. Un modèle affiné peut toujours devenir obsolète et n'expose pas intrinsèquement la source d'une affirmation générée. Utilisez la récupération ou une autre connexion de données vérifiée lorsque la fraîcheur et les citations sont importantes.
Utilisez SFT pour les réponses cibles examinées, DPO pour les paires de préférences comparatives et GRPO pour les tâches avec des récompenses fiables sur plusieurs sorties échantillonnées. Choisissez uniquement après avoir confirmé les données, l'objectif, l'évaluation, la sécurité et les exigences de calcul.
Vérifiez les droits, le consentement, la confidentialité, la gestion des données personnelles, les conditions du fournisseur, la conservation et la suppression, le traitement géographique, les contrôles d'accès aux modèles, l'utilisation secondaire de la formation, le cryptage, la réponse aux incidents et le contrat actuel.
Guide pour continuer l'entraînement à partir d'un modèle pré-entraîné avec des ensembles de données, la tokenisation, les arguments d'entraînement, l'évaluation et les points de contrôle.
Guide conceptuel officiel sur la configuration LoRA, le rang, alpha, les modules cibles et l'adaptation économe en paramètres.
Aperçu et exemples officiels pour les méthodes de post-entraînement, notamment SFT, la modélisation de récompenses, DPO et GRPO.
Examiner d'abord les ensembles de données, les lots, les époques, la perte, l'optimisation, la généralisation, le matériel et la reproductibilité.
Vérifiez si les instructions, les exemples, les schémas, ou le chaînage de prompts peuvent résoudre l'exigence avant l'entraînement.
Utilisez les concepts de récupération lorsque les réponses nécessitent des connaissances actuelles, privées et basées sur une source.
Connectez l'évaluation du modèle affiné aux ensembles de données fixes, aux références, à l'examen humain, aux tests de régression, à la latence et au coût.