जनरेटिव AI इंजीनियरिंग
प्रशिक्षण डेटा, उद्देश्यों, बैचों, युगों, हानि, ग्रेडिएंट, ऑप्टिमाइज़र, शिक्षण दरों, सत्यापन, ओवरफिटिंग, चेकपॉइंट, वितरित प्रशिक्षण और पुनरुत्पादकता को समझें।
61 शब्द
प्रशिक्षण नींव
Model training
मॉडल पैरामीटर को डेटा से समायोजित करने की प्रक्रिया ताकि मॉडल एक लक्षित व्यवहार या कार्य कर सके।
डेटा तैयारी, प्रशिक्षण रन, सत्यापन और चेकपॉइंट चयन सहित संपूर्ण अनुकूलन प्रक्रिया के लिए इस शब्द का उपयोग करें।
रन शुरू करने से पहले, प्रशिक्षण उद्देश्य, स्वीकृत डेटासेट, सत्यापन योजना, कंप्यूट बजट और समाप्ति मानदंड को परिभाषित करें।प्रशिक्षण नींव
Pre-training
बड़े पैमाने पर प्रशिक्षण, जो एक मॉडल को व्यापक पैटर्न सिखाता है, इससे पहले कि इसे किसी संकीर्ण कार्य या क्षेत्र के लिए अनुकूलित किया जाए।
इसका उपयोग तब करें जब आप बेस मॉडल के निर्माण और बाद के फाइन-ट्यूनिंग या संरेखण के बीच अंतर कर रहे हों।
अधिकृत बहुभाषी कॉर्पस पर बेस मॉडल को प्री-ट्रेन करें, फिर भाषा कवरेज का मूल्यांकन करें।प्रशिक्षण नींव
Foundation model
एक व्यापक रूप से प्रशिक्षित मॉडल जिसे कई डाउनस्ट्रीम कार्यों और अनुकूलन का समर्थन करने के लिए डिज़ाइन किया गया है।
इसका उपयोग तब करें जब सामान्य मॉडल की पहचान करें जिस पर बाद में प्रॉम्प्टिंग, पुनर्प्राप्ति, एडेप्टर या फाइन-ट्यूनिंग आधारित होते हैं।
स्वीकृत फाउंडेशन-मॉडल परिवार, संस्करण, लाइसेंस और इच्छित अनुकूलन पथ को रिकॉर्ड करें।प्रशिक्षण नींव
Base model
विशिष्ट पूर्व-प्रशिक्षित चेकपॉइंट जिसका उपयोग अनुमान या अतिरिक्त अनुकूलन के लिए शुरुआती बिंदु के रूप में किया जाता है।
प्रशिक्षण और तैनाती को पुन: प्रस्तुत करने के लिए सटीक मॉडल और संशोधन पहचानकर्ता का उपयोग करें।
बेस मॉडल: स्वीकृत मॉडल ID और अपरिवर्तनीय संशोधन डाइजेस्ट।प्रशिक्षण नींव
Model parameter
मॉडल के अंदर एक संख्यात्मक मान जो प्रशिक्षण के दौरान सीखा जा सकता है या चुने गए विधि द्वारा स्थिर रखा जा सकता है।
इसका उपयोग तब करें जब आप मॉडल के कुल, स्थिर और प्रशिक्षित भागों की तुलना कर रहे हों।
कुल पैरामीटर और प्रशिक्षण विधि द्वारा अपडेट किए गए उपसमुच्चय की रिपोर्ट करें।प्रशिक्षण नींव
Transfer learning
एक सेटिंग से सीखे गए ज्ञान का पुन: उपयोग करना, जो किसी अन्य संबंधित कार्य या डोमेन के लिए शुरुआती बिंदु है।
इसका उपयोग तब करें जब एक पूर्व-प्रशिक्षित प्रतिनिधित्व को अनुकूलित करने के बजाय एक नए मॉडल को यादृच्छिक प्रारंभिकरण से प्रशिक्षित किया जाता है।
स्वीकृत भाषा मॉडल से शुरू करें और इसे इरादे वर्गीकरण के लिए अनुकूलित करें।प्रशिक्षण नींव
Training objective
गणितीय या व्यवहारिक लक्ष्य जिसे प्रशिक्षण रन अनुकूलित करने का प्रयास करता है।
डेटा, लेबल, हानि कार्यों और मूल्यांकन मेट्रिक्स चुनने से पहले इसे परिभाषित करें।
उद्देश्य: स्वीकृत डोमेन कॉर्पस पर सत्यापन हानि को कम करते हुए, अगले टोकन का अनुमान लगाना।प्रशिक्षण नींव
Supervised learning
इनपुट के साथ अपेक्षित लेबल या आउटपुट को जोड़ने वाले उदाहरणों से प्रशिक्षण।
इसका उपयोग तब करें जब विश्वसनीय लक्ष्य उत्तर, वर्ग या मान उपलब्ध हों।
समीक्षा किए गए इरादे लेबल के साथ जोड़े गए समर्थन प्रश्नों पर प्रशिक्षित करें।प्रशिक्षण नींव
Self-supervised learning
प्रशिक्षण जो बिना लेबल वाले डेटा की संरचना से भविष्यवाणी लक्ष्यों को प्राप्त करता है।
इसका उपयोग बड़े पैमाने पर प्रतिनिधित्व या भाषा मॉडल सीखने के लिए करें जहां मैनुअल लेबलिंग अव्यावहारिक है।
प्रत्येक अनुक्रम के हिस्से को छिपाएं या स्थानांतरित करें और मॉडल को लापता या अगले सामग्री की भविष्यवाणी करने के लिए प्रशिक्षित करें।प्रशिक्षण डेटा
Training dataset
उदाहरण जिनका उपयोग ग्रेडिएंट की गणना करने और मॉडल मापदंडों को अपडेट करने के लिए किया जाता है।
इसे प्रासंगिक, लाइसेंस प्राप्त, प्रतिनिधि और गुणवत्ता-नियंत्रित डेटा से बनाएं।
यह न मान लें कि सार्वजनिक रूप से सुलभ डेटा स्वचालित रूप से मॉडल प्रशिक्षण के लिए अधिकृत है।
स्रोत, लाइसेंस, सहमति, भाषा और गुणवत्ता मेटाडेटा के साथ एक संस्करणित प्रशिक्षण डेटासेट बनाएं।प्रशिक्षण डेटा
Validation dataset
एक होल्ड-आउट डेटासेट जिसका उपयोग विकास के दौरान सेटिंग्स की तुलना करने और सामान्यीकरण की निगरानी के लिए किया जाता है।
इसका उपयोग चेकपॉइंट चयन, प्रारंभिक समाप्ति और हाइपरपैरामीटर निर्णयों के लिए करें बिना इसके उदाहरणों से भार को अपडेट किए।
प्रत्येक युग में सत्यापन हानि का मूल्यांकन करें और सर्वोत्तम स्वीकृत चेकपॉइंट को बनाए रखें।प्रशिक्षण डेटा
Test dataset
एक अलग डेटासेट जो विकास विकल्पों के पूरा होने के बाद अंतिम, कम-पक्षपाती अनुमान के लिए उपयोग किया जाता है।
इसका उपयोग केवल मॉडल और हाइपरपैरामीटर चयन के बाद करें ताकि अंतिम परीक्षण पर ट्यूनिंग से बचा जा सके।
प्रयोग से पहले परीक्षण सेट को लॉक करें और अंतिम परिणाम के साथ इसके संस्करण की रिपोर्ट करें।प्रशिक्षण डेटा
Training corpus
पाठ, कोड, छवियों, ऑडियो या अन्य सामग्री का एक संकलित निकाय जो मॉडल सीखने के लिए तैयार किया गया है।
इस शब्द का उपयोग तब करें जब स्रोत कवरेज, उत्पत्ति, फ़िल्टरिंग और संग्रह पैमाने पर अधिकारों के बारे में चर्चा की जा रही हो।
दस्तावेज़ कॉर्पस स्रोतों, संग्रह तिथियों, बहिष्करणों, अधिकारों के आधार और हटाने की प्रक्रियाओं का दस्तावेजीकरण करें।प्रशिक्षण डेटा
Training sample or example
एक इकाई जो प्रशिक्षण पाइपलाइन को प्रस्तुत की जाती है, जैसे कि एक लेबल किया गया पंक्ति, अनुक्रम, छवि, वार्तालाप या वरीयता जोड़ी।
इसका उपयोग तब करें जब आप स्कीमा, सैंपलिंग वेट, गुणवत्ता जांच और डेटासेट आकार में क्या गिना जाता है, इसे परिभाषित कर रहे हों।
एक उदाहरण में इनपुट, लक्ष्य, स्रोत ID, अधिकार मेटाडेटा और गुणवत्ता स्थिति शामिल है।प्रशिक्षण डेटा
Label
एक लक्ष्य वर्ग, मान, स्पैन, प्रतिक्रिया, या निर्णय जो एक पर्यवेक्षित प्रशिक्षण उदाहरण से जुड़ा होता है।
अस्पष्ट कार्यों के लिए, एक प्रलेखित दिशानिर्देश के साथ लेबल को परिभाषित करें और समीक्षक समझौते को मापें।
प्रत्येक टिकट को एक स्वीकृत इरादे के साथ लेबल करें और उन मामलों को रिकॉर्ड करें जिनमें अनिश्चितता है, ताकि उनका मूल्यांकन किया जा सके।प्रशिक्षण डेटा
Data augmentation
यह अतिरिक्त प्रशिक्षण उदाहरण बनाने के लिए नियंत्रित परिवर्तन लागू करता है जो इच्छित लेबल या व्यवहार को बनाए रखते हैं।
इसका उपयोग कवरेज में सुधार करने के साथ-साथ यह सत्यापित करने के लिए करें कि परिवर्तन यथार्थवादी रहते हैं और लक्षित अर्थ को नहीं बदलते हैं।
पैराफ़्रेज़ वेरिएंट बनाएं, फिर जांचें कि प्रत्येक वेरिएंट मूल इरादे के लेबल को बनाए रखता है या नहीं।प्रशिक्षण डेटा
Data contamination
प्रशिक्षण डेटा में मूल्यांकन उदाहरणों या करीबी रूपों की उपस्थिति, जिससे मूल्यांकन सामान्यीकरण को बढ़ा-चढ़ाकर प्रस्तुत करता है।
प्रशिक्षण से पहले और संरक्षित मूल्यांकन सेट को अलग करने से पहले सटीक और अर्थ संबंधी ओवरलैप की जाँच करें।
प्रशिक्षण और मूल्यांकन विभाजन में हैश और निकट-डुप्लिकेट एम्बेडिंग की तुलना करें।प्रशिक्षण डेटा
Training tokenization
कच्चे सामग्री को मॉडल इनपुट इकाइयों और पहचानकर्ताओं में परिवर्तित करना जिसका उपयोग प्रशिक्षण के दौरान किया जाता है।
टोकनाइज़र विकल्प, शब्दावली, सामान्यीकरण और विशेष टोकन को मॉडल और सर्विंग पाइपलाइन के साथ संगत रखें।
टोकेनाइज़र संस्करण, शब्दावली आकार, विशेष टोकन, ट्रंकेशन और अधिकतम अनुक्रम लंबाई को रिकॉर्ड करें।प्रशिक्षण डेटा
Data split
उदाहरणों को प्रशिक्षण, सत्यापन और परीक्षण उपसमुच्चय में विभाजित करना।
यादृच्छिक पंक्तियों को विभाजित करें जो निकट-डुप्लिकेट को उपसमुच्चय में लीक कर सकते हैं, उपयोगकर्ता, समय, दस्तावेज़ या समूह द्वारा।
ग्राहक खाते द्वारा विभाजित करें ताकि एक ग्राहक से बातचीत प्रशिक्षण और परीक्षण डेटा दोनों में दिखाई न दे।प्रशिक्षण डेटा
Data deduplication
समान और लगभग-डुप्लिकेट प्रशिक्षण उदाहरणों का पता लगाना और उन्हें हटाना या समूहीकृत करना।
इसका उपयोग स्मरण, स्रोत असंतुलन, बर्बाद कंप्यूटिंग और प्रशिक्षण-परीक्षण संदूषण को कम करने के लिए करें।
विभाजन से पहले, सटीक हैश, सामान्यीकृत पाठ और उच्च-समानता वाले दस्तावेज़ खंडों को डुप्लिकेट करें।प्रशिक्षण डेटा
Synthetic training data
उदाहरण जो सीधे वास्तविक घटनाओं से एकत्र करने के बजाय, सॉफ़्टवेयर या मॉडलों द्वारा उत्पन्न या रूपांतरित किए गए हैं।
इसका उपयोग दुर्लभ मामलों, प्रारूपों, या गोपनीयता-संरक्षित सिमुलेशन को कवर करने के लिए करें, और फिर यथार्थवाद और पूर्वाग्रह को मान्य करें।
सिंथेटिक डेटा स्रोत पूर्वाग्रह, त्रुटियों या संरक्षित अभिव्यक्ति को पुन: उत्पन्न कर सकता है और फिर भी इसे उत्पत्ति और गुणवत्ता जांच की आवश्यकता होती है।
एज-केस सपोर्ट डायलॉग उत्पन्न करें, उन्हें सिंथेटिक के रूप में लेबल करें, और प्रशिक्षण से पहले उनकी समीक्षा करें।प्रशिक्षण डेटा
Confidential training data
ग्राहक रिकॉर्ड, व्यापार रहस्य, आंतरिक दस्तावेज़, क्रेडेंशियल या अन्य प्रतिबंधित जानकारी जो प्रशिक्षण के लिए उपयोग की जाती है।
इसे डिफ़ॉल्ट रूप से बाहर रखें, जब तक कि स्पष्ट प्राधिकरण, एक प्रलेखित उद्देश्य, सख्त एक्सेस नियंत्रण और एक स्वीकृत प्रतिधारण और हटाने की योजना न हो।
कभी भी क्रेडेंशियल्स, ग्राहक रहस्यों या व्यापार रहस्यों को स्वीकृत प्राधिकरण और प्रदाता-नीति समीक्षा के बिना प्रशिक्षण सेवा में न रखें।
डेटा इंजेक्शन के दौरान संवेदनशील जानकारी और व्यापार रहस्यों को ब्लॉक करें और अनिश्चित रिकॉर्ड को अधिकृत समीक्षक को भेजें।प्रशिक्षण डेटा
Data leakage
प्रशिक्षण के दौरान जानकारी का अनपेक्षित उपयोग जो इच्छित वास्तविक दुनिया की भविष्यवाणी सेटिंग में उपलब्ध नहीं होगा।
अवास्तविक रूप से उच्च मूल्यांकन स्कोर को रोकने के लिए सुविधाओं, लेबल, टाइमस्टैम्प और प्रीप्रोसेसिंग की जाँच करें।
टिकट एस्केलेशन की भविष्यवाणी करने वाले मॉडल को प्रशिक्षित करने से पहले पोस्ट-रिज़ॉल्यूशन फ़ील्ड को हटा दें।प्रशिक्षण लूप
Batch
प्रशिक्षण उदाहरणों का एक समूह जिसे एक फॉरवर्ड और बैकवर्ड गणना में एक साथ संसाधित किया जाता है।
कम्प्यूटेशनल दक्षता, मेमोरी उपयोग और ग्रेडिएंट स्थिरता को संतुलित करने के लिए बैचों का उपयोग करें।
प्रत्येक बैच को पैडेड अनुक्रमों और एक अटेंशन मास्क के साथ इकट्ठा करें।प्रशिक्षण लूप
Mini-batch
प्रशिक्षण डेटा का एक छोटा उपसमुच्चय जिसका उपयोग एक ग्रेडिएंट गणना के लिए किया जाता है, बजाय एक साथ पूरे डेटासेट को संसाधित करने के।
इसका उपयोग बड़े डेटासेट पर स्टोकेस्टिक अनुकूलन के लिए मानक व्यावहारिक इकाई के रूप में करें।
प्रशिक्षण सेट को शफल करें और समान अनुक्रम लंबाई के मिनी-बैच बनाएं।प्रशिक्षण लूप
Batch size
एक बैच में शामिल उदाहरणों या अनुक्रमों की संख्या।
इसे अनुक्रम लंबाई, मेमोरी, अनुकूलन व्यवहार और प्रभावी बैच आकार के अनुसार ट्यून करें।
प्रति-डिवाइस बैच आकार 4 से शुरू करें और केवल तभी ग्रेडिएंट संचय का उपयोग करें जब मेमोरी की आवश्यकता हो।प्रशिक्षण लूप
Training step / iteration
एक ऑप्टिमाइज़र-अपडेट चक्र, जो एक या कई माइक्रो-बैच का उपयोग कर सकता है।
इसका उपयोग लॉगिंग, शेड्यूलिंग, चेकपॉइंट सहेजना और रन अवधि की तुलना के लिए करें।
प्रत्येक 20 ऑप्टिमाइज़र चरणों में प्रशिक्षण हानि और सीखने की दर को लॉग करें।प्रशिक्षण लूप
Epoch
कॉन्फ़िगर किए गए नमूनाकरण प्रक्रिया के तहत प्रशिक्षण डेटासेट के माध्यम से एक पूर्ण पास।
अधिक युगों को स्वचालित रूप से बेहतर मानने के बजाय, सत्यापन वक्रों के साथ युग गणना का उपयोग करें।
1,000 उदाहरणों और 50 के बैच आकार के लिए, एक युग में लगभग 20 बैच होते हैं।प्रशिक्षण लूप
Forward pass
वह गणना जो मॉडल इनपुट को नेटवर्क के माध्यम से पूर्वानुमान और हानि मान उत्पन्न करने के लिए भेजती है।
इसका उपयोग तब करें जब प्रत्येक प्रशिक्षण पुनरावृत्ति के पहले आधे हिस्से को ग्रेडिएंट की गणना से पहले समझाया जाए।
टोकन आईडी पर फॉरवर्ड पास चलाएं और अनुमानित टोकन की तुलना लक्ष्य लेबल से करें।प्रशिक्षण लूप
Loss function
एक फ़ंक्शन जो मॉडल की भविष्यवाणियों और प्रशिक्षण उद्देश्य के बीच की दूरी को मापता है।
इसे कार्य, लेबल प्रारूप, वर्ग संतुलन और वांछित व्यवहार से मेल खाने के लिए चुनें।
टोकन-स्तरीय प्रशिक्षण हानि और अनुक्रम-स्तरीय कार्य मेट्रिक्स को अलग से ट्रैक करें।प्रशिक्षण लूप
Backpropagation
मॉडल के माध्यम से हानि व्युत्पन्न को पीछे की ओर प्रसारित करने की प्रक्रिया, ताकि ग्रेडिएंट की गणना की जा सके।
इसका उपयोग यह समझाने के लिए करें कि त्रुटि संकेत प्रशिक्षित मापदंडों तक कैसे पहुंचता है।
स्केल किए गए नुकसान को वापस प्रचारित करें, ग्रेडिएंट को सीमित करें, और फिर ऑप्टिमाइज़र को अपडेट करें।प्रशिक्षण लूप
Gradient
व्युत्पन्न का एक सेट जो इंगित करता है कि पैरामीटर परिवर्तन हानि को कैसे प्रभावित करेंगे।
अस्थिरता, गायब होने वाले अपडेट या विस्फोटक ग्रेडिएंट का पता लगाने के लिए ग्रेडिएंट मानदंडों की निगरानी करें।
जब ग्रेडिएंट का मान किसी ऑप्टिमाइज़र चरण से पहले अनिश्चित हो जाता है, तो सूचित करें।प्रशिक्षण लूप
Optimizer
एक एल्गोरिदम जो ग्रेडिएंट और कॉन्फ़िगर की गई स्थिति का उपयोग करके प्रशिक्षित करने योग्य पैरामीटर को अपडेट करता है।
इसे सीखने की दर, वेट डिके और परिशुद्धता सेटिंग्स के साथ एक साथ कॉन्फ़िगर करें।
स्पष्ट रूप से दर्ज किए गए लर्निंग रेट, वेट डिके और ऑप्टिमाइज़र संस्करण के साथ AdamW का उपयोग करें।प्रशिक्षण लूप
Stochastic gradient descent (SGD)
एक अनुकूलन विधि जो व्यक्तिगत उदाहरणों या मिनी-बैच पर अनुमानित ग्रेडिएंट से पैरामीटर को अपडेट करती है।
इसका उपयोग एक मूलभूत अनुकूलन अवधारणा के रूप में करें और कार्य के लिए गति या शेड्यूलिंग विकल्पों की तुलना करें।
रिकॉर्ड किए गए शिक्षण दर, गति, शेड्यूलर और बैच कॉन्फ़िगरेशन के साथ SGD चलाएं।प्रशिक्षण लूप
AdamW
एक अनुकूली ऑप्टिमाइज़र जो वज़न डिके को ग्रेडिएंट-आधारित पैरामीटर अपडेट से अलग करता है।
इसका उपयोग तब करें जब प्रशिक्षण विधि द्वारा समर्थित हो और पुनरुत्पादन के लिए सभी ऑप्टिमाइज़र हाइपरपैरामीटर रिकॉर्ड करें।
AdamW लर्निंग रेट, बीटा, एप्सिलॉन, वेट डिके और कार्यान्वयन संस्करण रिकॉर्ड करें।प्रशिक्षण लूप
Learning rate
एक हाइपरपैरामीटर जो अनुकूलन के दौरान पैरामीटर अपडेट के पैमाने को नियंत्रित करता है।
इसे सावधानीपूर्वक ट्यून करें क्योंकि बहुत अधिक मान प्रशिक्षण को अस्थिर कर सकते हैं और बहुत कम मान प्रगति को रोक सकते हैं।
कोई भी सार्वभौमिक रूप से सही लर्निंग रेट नहीं है; उपयुक्त मान मॉडल, विधि, डेटा, बैच आकार और ऑप्टिमाइज़र पर निर्भर करते हैं।
समान डेटा विभाजन, बीज और मूल्यांकन शेड्यूल का उपयोग करके उम्मीदवार शिक्षण दरों की तुलना करें।प्रशिक्षण लूप
Learning-rate scheduler
एक नियम जो प्रशिक्षण चरणों में सीखने की दर को बदलता है।
इसका उपयोग प्रशिक्षण को गर्म करने, अपडेट को कम करने, या प्रयोग योजना के अनुसार प्लेटो पर प्रतिक्रिया करने के लिए करें।
योजनाबद्ध चरणों के इच्छित अनुपात के लिए वार्म अप करें, फिर अंतिम दर तक कोसाइन क्षय का उपयोग करें।प्रशिक्षण लूप
Warmup
एक प्रारंभिक अवधि जो धीरे-धीरे एक छोटे मान से सीखने की दर को बढ़ाती है।
इसका उपयोग प्रशिक्षण की शुरुआत के पास अस्थिर अपडेट को कम करने के लिए करें, खासकर बड़े मॉडल अनुकूलन में।
पुनरुत्पादित प्रशिक्षण कॉन्फ़िगरेशन के भाग के रूप में वार्मअप चरणों को रिकॉर्ड करें।Generalization and quality
Training loss
लॉस की गणना उन बैचों पर की जाती है जिनका उपयोग मॉडल मापदंडों को अपडेट करने के लिए किया जाता है।
इसका उपयोग अनुकूलन प्रगति की निगरानी के लिए करें, लेकिन कम मान को सामान्यीकरण के प्रमाण के रूप में न मानें।
ऑप्टिमाइज़र चरण द्वारा स्मूथ प्रशिक्षण हानि को प्लॉट करें और अचानक स्पाइक्स या गैर-परिभाषित मानों की जांच करें।Generalization and quality
Validation loss
लॉस को होल्ड-आउट सत्यापन उदाहरणों पर मापा जाता है, बिना उन उदाहरणों से मापदंडों को अपडेट किए।
ओवरफिटिंग का पता लगाने और उम्मीदवार चेकपॉइंट का चयन करने के लिए इसकी तुलना प्रशिक्षण हानि से करें।
सर्वश्रेष्ठ स्वीकृत सत्यापन व्यवहार वाले चेकपॉइंट को रखें, जरूरी नहीं कि अंतिम युग।Generalization and quality
Convergence
वह स्थिति जिसमें प्रशिक्षण अपडेट क्रमिक रूप से छोटे या अधिक स्थिर सुधार उत्पन्न करते हैं।
प्रशिक्षण और सत्यापन वक्रों के साथ-साथ कार्य मेट्रिक्स से इसका मूल्यांकन करें, न कि केवल प्रशिक्षण हानि से।
रन को केवल तभी अभिसरण मानें जब सत्यापन मेट्रिक्स चेकपॉइंट में स्थिर हो जाएं।Generalization and quality
Generalization
प्रशिक्षित मॉडल की प्रासंगिक उदाहरणों पर अच्छा प्रदर्शन करने की क्षमता जिस पर उसने प्रशिक्षण नहीं लिया है।
इसे प्रतिनिधि होल्ड-आउट और वास्तविक दुनिया के मामलों में मापें।
अनदेखे उपयोगकर्ताओं, समय अवधि, भाषाओं और कठिन एज केसों में प्रदर्शन की तुलना करें।Generalization and quality
Overfitting
एक स्थिति जहां एक मॉडल प्रशिक्षण डेटा को बारीकी से फिट करता है लेकिन अनदेखे डेटा पर खराब प्रदर्शन करता है।
प्रशिक्षण और सत्यापन व्यवहार के बीच बढ़ती दूरी की तलाश करें और डेटा, नियमितीकरण या प्रारंभिक समाप्ति के साथ प्रतिक्रिया दें।
तब रुकें जब सत्यापन हानि बढ़ती है, जबकि प्रशिक्षण हानि कम होती रहती है।Generalization and quality
Underfitting
एक स्थिति जहां एक मॉडल पर्याप्त संरचना सीखने में विफल रहता है ताकि प्रशिक्षण डेटा पर भी अच्छा प्रदर्शन किया जा सके।
मॉडल क्षमता, सुविधा या डेटा गुणवत्ता, अनुकूलन सेटिंग्स और प्रशिक्षण अवधि की जाँच करें।
जब प्रशिक्षण और सत्यापन मेट्रिक्स दोनों खराब रहते हैं तो अंडरफिटिंग (underfitting) की जांच करें।Generalization and quality
Regularization
ऐसी तकनीकें जो सीखने को सीमित करती हैं या आकार देती हैं ताकि ओवरफिटिंग को कम किया जा सके और अनदेखे डेटा पर व्यवहार में सुधार हो सके।
नियमितीकरण को मॉडल की क्षमता, डेटा की मात्रा, संवर्द्धन और प्रारंभिक समाप्ति के साथ चुनें।
प्रलेखित वेट डिके और ड्रॉपआउट सेटिंग्स के साथ सत्यापन व्यवहार की तुलना करें।Generalization and quality
Weight decay
एक नियमितीकरण सेटिंग जो अनुकूलन के दौरान पैरामीटर मानों को अत्यधिक बढ़ने से रोकती है।
इसे ऑप्टिमाइज़र के साथ ट्यून करें और सत्यापित करें कि कौन से पैरामीटर क्षय से बाहर हैं।
वेट डिके और उन पैरामीटर समूहों को रिकॉर्ड करें जिन पर यह लागू होता है।Generalization and quality
Dropout
एक नियमितीकरण तकनीक जो प्रशिक्षण के दौरान चयनित सक्रियणों को बेतरतीब ढंग से अक्षम करती है।
केवल तभी उपयोग करें जब आर्किटेक्चर और प्रशिक्षण विधि इसका समर्थन करते हों, और मूल्यांकन के दौरान प्रशिक्षण व्यवहार को अक्षम करें।
समर्थित ड्रॉपआउट दर सेट करें और रिकॉर्ड करें, फिर सत्यापन प्रदर्शन की तुलना करें।Generalization and quality
Gradient clipping
ऑप्टिमाइज़र अपडेट से पहले ग्रेडिएंट परिमाण या मानदंड को सीमित करना ताकि अस्थिर चरणों को कम किया जा सके।
इसका उपयोग तब करें जब ग्रेडिएंट स्पाइक्स संभव हों और यह मॉनिटर करें कि क्लिपिंग कितनी बार होती है।
दस्तावेज़ित सीमा पर वैश्विक ग्रेडिएंट मानदंड को काटें और काटे गए चरणों को लॉग करें।Generalization and quality
Early stopping
एक प्रशिक्षण रन को रोकना जब एक निगरानी किए गए सत्यापन मीट्रिक अब परिभाषित नियमों के तहत सुधार नहीं करता है।
धैर्य और न्यूनतम-सुधार थ्रेसहोल्ड का उपयोग करें ताकि एक शोर मूल्यांकन पर प्रतिक्रिया न हो।
तीन सत्यापन जांचों के बाद रुकें, बिना किसी सार्थक सुधार के, और सर्वश्रेष्ठ चेकपॉइंट को पुनर्स्थापित करें।Generalization and quality
Training checkpoint
एक सहेजी गई प्रशिक्षण स्थिति जिसमें मॉडल पैरामीटर और अक्सर ऑप्टिमाइज़र, शेड्यूलर और प्रगति जानकारी होती है।
पुनर्प्राप्ति, तुलना, मूल्यांकन और नियंत्रित प्रचार के लिए चेकपॉइंट का उपयोग करें।
डेटासेट, कोड, टोकनाइज़र और कॉन्फ़िगरेशन पहचानकर्ताओं के साथ संस्करणित चेकपॉइंट सहेजें।गणना और पुनरुत्पादकता
AI accelerator (GPU, TPU, NPU)
विशेष कंप्यूटिंग हार्डवेयर का उपयोग मॉडल प्रशिक्षण और अनुमान के लिए टेंसर संचालन को गति देने के लिए किया जाता है।
फ्रेमवर्क समर्थन, संख्यात्मक प्रारूप, मेमोरी, इंटरकनेक्ट, उपलब्धता और लागत के अनुसार हार्डवेयर चुनें।
एक्सेलेरेटर प्रकार, गणना, मेमोरी, रनटाइम, ड्राइवर और अनुमानित प्रशिक्षण लागत रिकॉर्ड करें।गणना और पुनरुत्पादकता
Video memory (VRAM)
एक त्वरक पर मेमोरी का उपयोग मॉडल भार, ऑप्टिमाइज़र राज्यों, सक्रियण, ग्रेडिएंट और बैचों के लिए किया जाता है।
प्रशिक्षण से पहले इसका अनुमान लगाएं और बैच आकार, परिशुद्धता, शार्डिंग या चेकपॉइंटिंग को आवश्यकतानुसार समायोजित करें।
सबसे लंबे समय तक समर्थित अनुक्रम और प्रभावी बैच कॉन्फ़िगरेशन के लिए आवंटित VRAM की अधिकतम मात्रा को मापें।गणना और पुनरुत्पादकता
FP16 and BF16
कम-सटीक संख्यात्मक प्रारूपों का उपयोग आमतौर पर प्रशिक्षण मेमोरी को कम करने और एक्सेलेरेटर थ्रूपुट को बढ़ाने के लिए किया जाता है।
केवल हार्डवेयर और फ्रेमवर्क द्वारा समर्थित प्रारूपों का उपयोग करें, जिसमें सीमित-मान और गुणवत्ता जांच शामिल हैं।
स्वीकृत बेसलाइन के साथ BF16 या FP16 प्रशिक्षण स्थिरता और आउटपुट गुणवत्ता की तुलना करें।गणना और पुनरुत्पादकता
Gradient accumulation
एक ऑप्टिमाइज़र अपडेट से पहले कई माइक्रो-बैच से ग्रेडिएंट को मिलाना।
इसका उपयोग डिवाइस मेमोरी सीमित होने पर एक बड़े प्रभावी बैच आकार तक पहुंचने के लिए करें।
प्रभावी बैच आकार = प्रति-डिवाइस बैच × संचयन चरण × डेटा-समानांतर उपकरणों की संख्या।गणना और पुनरुत्पादकता
Mixed-precision training
प्रशिक्षण जो आवश्यक स्थिरता बनाए रखते हुए गति या मेमोरी दक्षता में सुधार के लिए एक से अधिक संख्यात्मक परिशुद्धता का उपयोग करता है।
हानि और सीमित-मान निगरानी के साथ समर्थित FP16 या BF16 वर्कफ़्लो का उपयोग करें।
संगत हार्डवेयर पर BF16 सक्षम करें और बेसलाइन रन के विरुद्ध हानि समानता को सत्यापित करें।गणना और पुनरुत्पादकता
Gradient checkpointing
एक मेमोरी-सेविंग तकनीक जो बैकप्रोपेगेशन के दौरान चयनित सक्रियणों को फिर से गणना करती है, बजाय उन्हें संग्रहीत करने के।
इसका उपयोग तब करें जब मेमोरी एक बाधा है और अतिरिक्त गणना स्वीकार्य है।
लंबे अनुक्रमों को फिट करने के लिए ग्रेडिएंट चेकपॉइंटिंग सक्षम करें, फिर प्रशिक्षण में होने वाली सुस्ती को मापें।गणना और पुनरुत्पादकता
Distributed training
प्रशिक्षण जो कई त्वरक या मशीनों में गणना या मॉडल स्थिति का समन्वय करता है।
इसका उपयोग तब करें जब एक डिवाइस मॉडल आकार या प्रशिक्षण समय की आवश्यकताओं को पूरा नहीं कर सकता है।
डेटा-पैरलल रणनीति, विश्व आकार, शार्डिंग नीति, नेटवर्क सेटअप और रिकवरी प्रक्रिया रिकॉर्ड करें।गणना और पुनरुत्पादकता
Data parallelism
एक मॉडल को श्रमिकों में दोहराना जो विभिन्न डेटा बैचों को संसाधित करते हैं और अपडेट को सिंक्रनाइज़ करते हैं।
इसका उपयोग तब करें जब मॉडल प्रत्येक वर्कर पर फिट हो और अधिक बैच थ्रूपुट की आवश्यकता हो।
वर्कर गणना, वैश्विक बैच आकार, ग्रेडिएंट सिंक्रोनाइज़ेशन और विफलता रिकवरी व्यवहार को रिकॉर्ड करें।गणना और पुनरुत्पादकता
Model parallelism
मॉडल गणना या मापदंडों को कई उपकरणों में विभाजित करना क्योंकि एक उपकरण पूरे मॉडल को कुशलतापूर्वक धारण या संसाधित नहीं कर सकता है।
आर्किटेक्चर और फ्रेमवर्क के समर्थन के अनुसार, टेंसर, पाइपलाइन या शार्ड दृष्टिकोण का उपयोग करें।
विभाजन रणनीति, संचार लागत, चेकपॉइंट प्रारूप और सेवा संगतता का दस्तावेजीकरण करें।गणना और पुनरुत्पादकता
Random seed
एक मान जिसका उपयोग छद्म-यादृच्छिक संचालन जैसे शफ़लिंग (shuffling), सैंपलिंग (sampling), ड्रॉपआउट (dropout), और पैरामीटर इनिशियलाइज़ेशन (parameter initialization) को आरंभ करने के लिए किया जाता है।
इसे पुनरावृत्ति के लिए रिकॉर्ड करें, यह मानते हुए कि वितरित हार्डवेयर और कुछ कर्नेल गैर-नियतात्मक बने रह सकते हैं।
केवल एक अनुकूल परिणाम पर निर्भर रहने के बजाय, कई रिकॉर्ड किए गए सीड के महत्वपूर्ण परिणामों की तुलना करें।गणना और पुनरुत्पादकता
Training reproducibility
अपने परिणामों की व्याख्या और तुलना करने के लिए एक रन को पर्याप्त रूप से दोहराने की क्षमता।
संस्करण डेटा, कोड, मॉडल, टोकनाइज़र, निर्भरताएँ, बीज, कॉन्फ़िगरेशन और हार्डवेयर विवरण।
एक रन मैनिफेस्ट संग्रहीत करें जिसमें कमिट ID, डेटासेट हैश, सीड, पैकेज लॉक और चेकपॉइंट URI शामिल हैं।ये इकाइयाँ प्रशिक्षण रन के विभिन्न भागों का वर्णन करती हैं और इनका उपयोग परस्पर विनिमय के लिए नहीं किया जाना चाहिए।
| शब्द | अर्थ |
|---|---|
| बैच | एक समूह को एक साथ एक फॉरवर्ड/बैकवर्ड गणना में संसाधित किया जाता है। |
| मिनी-बैच | एक व्यावहारिक, छोटा उपसमुच्चय जिसका उपयोग पूरे डेटासेट के बजाय किया जाता है। |
| प्रशिक्षण चरण | एक ऑप्टिमाइज़र अपडेट, संभवतः कई संचित माइक्रो-बैच के बाद। |
| युग | प्रशिक्षण सेट के माध्यम से एक पास; 50 के बैच आकार के साथ 1,000 उदाहरण लगभग 20 बैच प्रति युग हैं। |
प्रशिक्षण डेटा पैरामीटर अपडेट करता है, सत्यापन डेटा विकास विकल्पों का मार्गदर्शन करता है, और परीक्षण डेटा अंतिम प्रदर्शन का अनुमान लगाता है। समान या लगभग डुप्लिकेट उदाहरणों को इनमें से किसी एक में मिलाने से परिणाम बढ़ सकते हैं और खराब सामान्यीकरण छिप सकता है।
एक युग प्रशिक्षण सेट को एक बार संसाधित करता है। ग्रेडिएंट संचय के बिना, प्रति युग अनुमानित बैच आकार डेटासेट आकार को बैच आकार से विभाजित किया जाता है। संचय और कई श्रमिकों के साथ, प्रति-डिवाइस, प्रभावी और वैश्विक बैच आकार के बीच अंतर करें।
यह ओवरफिटिंग का एक सामान्य संकेत है। डेटा ओवरलैप और गुणवत्ता की समीक्षा करें, फिर प्रारंभिक समाप्ति, नियमितीकरण, संवर्द्धन, मॉडल क्षमता और एक ही हानि वक्र के बजाय कई कार्य मेट्रिक्स पर विचार करें।
नहीं। छोटे मॉडल और प्रयोग CPU पर चल सकते हैं, जबकि बड़े तंत्रिका मॉडल आमतौर पर GPU, TPU या NPU से लाभान्वित होते हैं। चुनाव फ्रेमवर्क समर्थन, मॉडल आकार, अनुक्रम लंबाई, समय और बजट पर निर्भर करता है।
सार्वजनिक पहुंच अपने आप प्रशिक्षण अधिकारों को स्थापित नहीं करती है। कॉपीराइट, लाइसेंस, अनुबंध, गोपनीयता, सहमति, गोपनीयता, संग्रह नियमों और प्रदाता की शर्तों की जांच करें, और उत्पत्ति और हटाने की प्रक्रियाओं को बनाए रखें।
प्रशिक्षण, सत्यापन, परीक्षण सेट, बैच, युग, हानि, अति-फिटिंग, और अन्य मशीन लर्निंग के मूलभूत सिद्धांतों के लिए आधिकारिक शब्दावली।
आधिकारिक गाइड जो टोकनाइजेशन, प्रशिक्षण तर्क, डेटासेट, युग, बैच आकार, सीखने की दर, मूल्यांकन और चेकपॉइंटिंग दिखाता है।
बैचिंग, फॉरवर्ड पास, हानि, बैकप्रोपैगेशन, ग्रेडिएंट और पैरामीटर अपडेट को कवर करने वाले प्रशिक्षण लूप का आधिकारिक विवरण।
मॉडल भार, फाउंडेशन मॉडल, अनुमान, टोकन और संदर्भ विंडो की समीक्षा करें।
प्रशिक्षण कार्य को मूल्यांकन डेटासेट, बेंचमार्क, मानदंडों, प्रतिगमन परीक्षणों और परिचालन मेट्रिक्स से कनेक्ट करें।
सामान्य प्रशिक्षण अवधारणाओं से SFT, LoRA, प्राथमिकता अनुकूलन, मूल्यांकन और परिनियोजन तक जारी रखें।