जनरेटिव AI इंजीनियरिंग
फाइन-ट्यूनिंग, निरंतर प्री-ट्रेनिंग, इंस्ट्रक्शन ट्यूनिंग, SFT, PEFT, LoRA, QLoRA, प्राथमिकता डेटा, RLHF, DPO, GRPO, प्रतिगमन मूल्यांकन, डेटा अधिकार, गोपनीयता, संस्करण नियंत्रण, और रोलबैक के बारे में जानें।
54 शब्द
फाइन-ट्यूनिंग अवलोकन
Fine-tuning
एक पूर्व-प्रशिक्षित मॉडल से प्रशिक्षण जारी रखना ताकि उसके व्यवहार को एक संकीर्ण कार्य, डोमेन, प्रारूप या प्राथमिकता के अनुकूल बनाया जा सके।
इसका उपयोग तब करें जब प्रॉम्प्टिंग और पुनर्प्राप्ति अकेले पर्याप्त रूप से सुसंगत सीखा व्यवहार प्रदान नहीं कर सकते हैं।
स्वीकृत आधार मॉडल को समीक्षा किए गए समर्थन प्रतिक्रियाओं पर फाइन-ट्यून करें, फिर इसकी तुलना अपरिवर्तित बेसलाइन से करें।फाइन-ट्यूनिंग अवलोकन
Downstream task
एक विशिष्ट एप्लिकेशन कार्य जो एक सामान्य, पूर्व-प्रशिक्षित मॉडल का उपयोग करके किया जाता है।
फाइन-ट्यूनिंग डेटा एकत्र करने और मेट्रिक्स का चयन करने से पहले इसे सटीक रूप से परिभाषित करें।
डाउनस्ट्रीम कार्य: कोरियाई सहायता अनुरोधों को स्वीकृत रूटिंग वर्गीकरण में वर्गीकृत करना।फाइन-ट्यूनिंग अवलोकन
Domain adaptation
किसी विशेष क्षेत्र या वातावरण में पाए जाने वाले भाषा, पैटर्न या वितरण के लिए एक मॉडल को अनुकूलित करना।
इसका उपयोग तब करें जब लक्ष्य डोमेन मॉडल के सामान्य प्रशिक्षण वितरण से काफी भिन्न होता है।
मॉडल को अधिकृत अर्धचालक रखरखाव दस्तावेजों के अनुकूल बनाएं और अनदेखे मैनुअल पर मूल्यांकन करें।फाइन-ट्यूनिंग अवलोकन
Continued pre-training
कार्य-विशिष्ट ट्यूनिंग से पहले, अतिरिक्त अनलेबल या सेल्फ-सुपरवाइज्ड डोमेन डेटा पर एक बेस मॉडल को आगे प्रशिक्षित करना।
इसका उपयोग व्यापक डोमेन भाषा अनुकूलन के लिए करें जब निर्देशों के उदाहरणों का एक छोटा सेट अपर्याप्त हो।
लाइसेंस प्राप्त डोमेन कॉर्पस पर पूर्व-प्रशिक्षण जारी रखें, फिर पर्यवेक्षित निर्देश ट्यूनिंग चलाएं।फाइन-ट्यूनिंग अवलोकन
Instruction tuning
फाइन-ट्यूनिंग निर्देशों और वांछित प्रतिक्रियाओं पर ताकि एक मॉडल विभिन्न प्राकृतिक-भाषा कार्यों का अधिक विश्वसनीय रूप से पालन करे।
विविध, समीक्षा किए गए निर्देशों का उपयोग करें जो लक्षित उपयोगकर्ताओं, कार्यों, भाषाओं और सुरक्षा सीमाओं को दर्शाते हैं।
सारांश, निष्कर्षण, अस्वीकृति और स्पष्टीकरण को कवर करने वाले निर्देश-प्रतिक्रिया उदाहरणों पर प्रशिक्षित करें।फाइन-ट्यूनिंग अवलोकन
Post-training
प्रशिक्षण, कार्य अनुपालन, प्राथमिकताओं, सुरक्षा, या तैनाती व्यवहार को बेहतर बनाने के लिए व्यापक पूर्व-प्रशिक्षण के बाद किया जाता है।
इसका उपयोग पर्यवेक्षित ट्यूनिंग, वरीयता अनुकूलन, इनाम मॉडलिंग और संबंधित संरेखण कार्य के लिए एक छत्र शब्द के रूप में करें।
प्रत्येक प्रशिक्षण के बाद के चरण, उसके डेटा, उद्देश्य, चेकपॉइंट और मूल्यांकन गेट का दस्तावेजीकरण करें।फाइन-ट्यूनिंग अवलोकन
Supervised fine-tuning (SFT)
फाइन-ट्यूनिंग जो समीक्षा किए गए लक्ष्य प्रतिक्रियाओं या लेबल के साथ जोड़े गए इनपुट से सीखता है।
इसका उपयोग प्रतिक्रिया प्रारूप, कार्य प्रक्रिया, टोन और वांछित व्यवहार के उदाहरण सिखाने के लिए करें।
SFT उदाहरण: उपयोगकर्ता अनुरोध, स्वीकृत सहायक प्रतिक्रिया, मेटाडेटा और डेटा-अधिकार रिकॉर्ड।फाइन-ट्यूनिंग अवलोकन
Model alignment
मॉडल के व्यवहार को परिभाषित मानव इरादों, नीतियों, प्राथमिकताओं और सुरक्षा आवश्यकताओं का बेहतर पालन करने का प्रयास।
इसका उपयोग निर्देश ट्यूनिंग, वरीयता अनुकूलन, सुरक्षा प्रशिक्षण और व्यवहार मूल्यांकन के पीछे के व्यापक लक्ष्य के रूप में करें।
संरेखण उद्देश्यों, अस्वीकार्य व्यवहारों, मूल्यांकन मामलों और मानव अनुमोदन गेट को परिभाषित करें।फाइन-ट्यूनिंग अवलोकन
Behavior adaptation
मॉडल के प्रतिक्रिया देने, आउटपुट को प्रारूपित करने, प्रक्रियाओं का पालन करने या अनिश्चितता को संभालने के तरीके को बदलना, यह मानते हुए कि यह वर्तमान तथ्यात्मक ज्ञान प्राप्त करता है।
इसका उपयोग तब करें जब वांछित परिवर्तन स्थिर प्रतिक्रिया पैटर्न से संबंधित हो, न कि बार-बार बदलने वाली जानकारी से।
मॉडल को अनुकूलित करें ताकि जब आवश्यक खाता प्रमाण गायब हो तो स्पष्टीकरण का अनुरोध किया जा सके।विधियाँ और एडेप्टर
Full fine-tuning
फाइन-ट्यूनिंग जो बेस मॉडल के सभी या अधिकांश मापदंडों को अपडेट करता है।
इसका उपयोग केवल तभी करें जब अपेक्षित लाभ महत्वपूर्ण मेमोरी, कंप्यूट, स्टोरेज और मूल्यांकन लागत को उचित ठहराता हो।
समान डेटा और मूल्यांकन सेट के तहत, पूर्ण फाइन-ट्यूनिंग की तुलना PEFT बेसलाइन से करें।विधियाँ और एडेप्टर
Parameter-efficient fine-tuning (PEFT)
विधियों का एक परिवार जो मॉडल को अनुकूलित करता है जबकि अपेक्षाकृत कम मापदंडों को प्रशिक्षित करता है।
इसका उपयोग प्रशिक्षण मेमोरी, स्टोरेज और प्रति-कार्य चेकपॉइंट आकार को कम करने के लिए करें।
प्रत्येक स्वीकृत डोमेन के लिए एक अलग PEFT एडाप्टर को प्रशिक्षित करें, जबकि बेस वेट को स्थिर रखें।विधियाँ और एडेप्टर
Adapter
अतिरिक्त या संशोधित मापदंडों का एक छोटा सेट जो किसी विशेष अनुकूलन के लिए एक बेस मॉडल से जुड़ा होता है।
कार्य-विशिष्ट परिवर्तनों को साझा बेस वेट से अलग करने के लिए एडेप्टर का उपयोग करें।
केवल अधिकृत वित्त वर्कफ़्लो के लिए वित्त एडाप्टर लोड करें।विधियाँ और एडेप्टर
Low-rank adaptation (LoRA)
एक PEFT विधि जो चयनित मॉडल मॉड्यूल के लिए कम-रैंक अपडेट मैट्रिक्स सीखती है, जबकि बेस वेट को स्थिर रखती है।
इसका उपयोग तब करें जब छोटे प्रशिक्षित राज्य और पुन: प्रयोज्य एडेप्टर परिनियोजन डिज़ाइन के अनुकूल हों।
चयनित अटेंशन प्रोजेक्शन पर LoRA लागू करें और रैंक, अल्फा, ड्रॉपआउट और लक्षित मॉड्यूल को रिकॉर्ड करें।विधियाँ और एडेप्टर
QLoRA
एक फाइन-ट्यूनिंग दृष्टिकोण जो बेस मॉडल को क्वांटाइज्ड प्रतिनिधित्व में लोड करते समय LoRA एडेप्टर को प्रशिक्षित करता है।
इसका उपयोग आधार मॉडल की मेमोरी को कम करने के लिए करें, जबकि उपयुक्त आधार रेखा के खिलाफ संख्यात्मक स्थिरता और गुणवत्ता को मान्य करें।
समर्थित क्वांटाइजेशन प्रारूप में स्वीकृत बेस मॉडल लोड करें और केवल LoRA एडाप्टर को प्रशिक्षित करें।विधियाँ और एडेप्टर
Quantization
मेमोरी, स्टोरेज या कंप्यूटिंग आवश्यकताओं को कम करने के लिए मॉडल मानों को कम-सटीक प्रारूपों के साथ दर्शाना।
इसका उपयोग तब करें जब समर्थित विधि और हार्डवेयर स्वीकार्य गुणवत्ता और संख्यात्मक व्यवहार को बनाए रख सकते हैं।
QLoRA से पहले क्वांटाइज्ड बेस मॉडल का मूल्यांकन करें और रिकॉर्ड प्रारूप, बिट चौड़ाई, लाइब्रेरी और कंप्यूट dtype रिकॉर्ड करें।विधियाँ और एडेप्टर
LoRA rank
LoRA एडेप्टर द्वारा उपयोग किए जाने वाले कम-रैंक अपडेट मैट्रिक्स की आयामीता।
इसे क्षमता और संसाधन के बीच एक समझौता के रूप में ट्यून करें, यह मानकर कि हमेशा बड़ी रैंक बेहतर होती है।
समान सीड, डेटा, चरणों और मूल्यांकन सूट के साथ रैंक 8 और रैंक 16 की तुलना करें।विधियाँ और एडेप्टर
LoRA alpha
एक स्केलिंग कॉन्फ़िगरेशन जो सीखे गए LoRA अपडेट के योगदान को प्रभावित करता है।
इसे रैंक और कार्यान्वयन विवरण के साथ रिकॉर्ड करें क्योंकि व्याख्या लाइब्रेरी पर निर्भर हो सकती है।
एडाप्टर मैनिफेस्ट में रैंक, अल्फा, ड्रॉपआउट, टारगेट मॉड्यूल और लाइब्रेरी संस्करण संग्रहीत करें।विधियाँ और एडेप्टर
Target modules
मॉडल की परतें या अनुमान (प्रोजेक्शन) जिन्हें एडाप्टर अपडेट प्राप्त होते हैं।
उन्हें मॉडल आर्किटेक्चर, विधि समर्थन और मापे गए गुणवत्ता के अनुसार चुनें।
समर्थित क्वेरी और मान अनुमानों को लक्षित करें, फिर प्रशिक्षित करने योग्य मापदंडों की संख्या को सत्यापित करें।विधियाँ और एडेप्टर
Trainable parameters
मॉडल पैरामीटर का उपसमुच्चय जिसे अनुकूलन अपडेट करने की अनुमति है।
पूर्ण और पैरामीटर-कुशल रन की तुलना करने के लिए गणना और प्रतिशत दोनों की रिपोर्ट करें।
प्रशिक्षित करने योग्य मापदंडों, कुल मापदंडों, प्रतिशत और एडाप्टर चेकपॉइंट आकार को लॉग करें।विधियाँ और एडेप्टर
Adapter merge
परिनियोजन के लिए सीखे गए एडाप्टर अपडेट को बेस वेट या किसी अन्य एडाप्टर प्रतिनिधित्व में मिलाना।
इसका उपयोग केवल संगतता, लाइसेंस, परिशुद्धता, गुणवत्ता और रोलबैक जांच के बाद करें।
रिलीज से पहले अनमर्जित बेस-प्लस-एडेप्टर कॉन्फ़िगरेशन के विरुद्ध विलय किए गए आर्टिफैक्ट का मूल्यांकन करें।प्रशिक्षण प्रारूप
Prompt-completion pair
एक प्रशिक्षण उदाहरण जिसमें एक इनपुट प्रॉम्प्ट और वांछित पूर्णता शामिल है।
एक सुसंगत स्कीमा का उपयोग करें और सुनिश्चित करें कि पूर्णताएँ सटीक लक्ष्य व्यवहार का प्रदर्शन करती हैं।
{"prompt":"Classify the request","completion":"billing_refund"}प्रशिक्षण प्रारूप
Instruction-response pair
एक पर्यवेक्षित उदाहरण जो प्राकृतिक भाषा के निर्देश या बातचीत को मॉडल द्वारा उत्पन्न किए जाने वाले समीक्षा किए गए प्रतिक्रिया के साथ जोड़ता है।
इसका उपयोग SFT के लिए करें और प्रत्येक उदाहरण के साथ स्रोत, अधिकार, समीक्षा और गुणवत्ता मेटाडेटा बनाए रखें।
{"messages":[{"role":"user","content":"배송 취소 방법을 알려줘"},{"role":"assistant","content":"주문 내역에서 취소할 주문을 선택하세요."}]}प्रशिक्षण प्रारूप
Chat template
एक स्वरूपण नियम जो सिस्टम, उपयोगकर्ता, सहायक और टूल संदेशों को चैट मॉडल द्वारा अपेक्षित टोकन अनुक्रम में परिवर्तित करता है।
प्रशिक्षण और अनुमान दोनों के दौरान चयनित बेस मॉडल के साथ संगत टोकेनाइज़र और टेम्पलेट का उपयोग करें।
डेटासेट प्रीप्रोसेसिंग और उत्पादन अनुमान दोनों में समान अनुमोदित चैट टेम्पलेट प्रस्तुत करें।प्रशिक्षण प्रारूप
System, user, and assistant roles
संदेश-भूमिका लेबल जो संवादात्मक प्रशिक्षण डेटा में स्थायी निर्देशों, उपयोगकर्ता इनपुट और मॉडल प्रतिक्रियाओं को अलग करते हैं।
केवल उन भूमिकाओं और क्रमों का उपयोग करें जो चयनित मॉडल के चैट टेम्पलेट द्वारा समर्थित हैं।
सिस्टम: नीति और भूमिका; उपयोगकर्ता: अनुरोध; सहायक: समीक्षा किया गया लक्षित प्रतिक्रिया।प्रशिक्षण प्रारूप
Response masking
प्रशिक्षण को इच्छित प्रतिक्रिया टोकन पर केंद्रित करने के लिए, चयनित इनपुट टोकन को हानि गणना से बाहर रखा गया है।
इसका उपयोग तब करें जब उद्देश्य को प्रत्येक प्रॉम्प्ट टोकन को लक्ष्य के रूप में न मानते हुए सहायक आउटपुट सीखने चाहिए।
हानि से सिस्टम और उपयोगकर्ता टोकन को मास्क करें और टोकनाइजेशन के बाद सहायक सीमाओं को सत्यापित करें।प्रशिक्षण प्रारूप
Sequence packing
पैडिंग को कम करने और उपयोग में सुधार करने के लिए कई छोटे उदाहरणों को लंबे प्रशिक्षण अनुक्रमों में मिलाना।
इसका उपयोग केवल तभी करें जब उदाहरण सीमाएं, ध्यान व्यवहार, लेबल और एंड टोकन सही रहें।
छोटे संवादों को संदर्भ सीमा तक पैक करें और जांचें कि क्या एक उदाहरण अगले में लीक हो रहा है।प्रशिक्षण प्रारूप
Fine-tuning context length
प्रत्येक प्रशिक्षण अनुक्रम के लिए उपयोग की जाने वाली अधिकतम टोकन लंबाई, प्रारूपण और टोकनकरण के बाद।
इसे आधार मॉडल, लक्षित कार्य, मेमोरी बजट, ट्रंकेशन जोखिम और उत्पादन अनुरोध पैटर्न के अनुसार सेट करें।
टोकन-लंबाई वितरण को मापें और एक सीमा चुनें जो महत्वपूर्ण सामग्री को संरक्षित करती है बिना अत्यधिक पैडिंग के।प्रशिक्षण प्रारूप
Preference dataset
एक डेटासेट जो वैकल्पिक मॉडल आउटपुट के लिए तुलनात्मक निर्णय या पुरस्कार रिकॉर्ड करता है।
इसका उपयोग दस्तावेज़ित लेबलिंग नियमों और समीक्षक गुणवत्ता जांच के साथ रिवार्ड मॉडलिंग या वरीयता अनुकूलन के लिए करें।
प्रॉम्प्ट, उम्मीदवार प्रतिक्रियाएं, वरीयता परिणाम, तर्क नीति, समीक्षक समूह और सहमति स्थिति संग्रहीत करें।प्रशिक्षण प्रारूप
Chosen and rejected response pair
दो संभावित प्रतिक्रियाएं जिन्हें यह इंगित करने के लिए लेबल किया गया है कि कौन सी प्रतिक्रिया परिभाषित प्राथमिकता मानदंडों को बेहतर ढंग से पूरा करती है।
ऐसे जोड़े का उपयोग करें जो सार्थक रूप से भिन्न हों और व्यक्तिगत पसंद के बजाय एक सुसंगत मानदंड लागू करें।
चुना गया: यह आपूर्ति की गई नीति का उल्लेख करता है और अनिश्चितता बताता है। अस्वीकृत: यह एक ऐसे समय सीमा का आविष्कार करता है जो समर्थित नहीं है।प्राथमिकता संरेखण
Human feedback
संरचित निर्णय, लेबल, प्रदर्शन या सुधार जो मॉडल के व्यवहार को निर्देशित करने के लिए लोगों द्वारा प्रदान किए जाते हैं।
समीक्षक योग्यता, निर्देश, असहमति प्रबंधन, गोपनीयता, मुआवजा और गुणवत्ता आश्वासन को परिभाषित करें।
प्रशिक्षण से पहले कैलिब्रेटेड समीक्षकों का उपयोग करें और उच्च-प्रभाव वाले असहमति को सुलझाएं।प्राथमिकता संरेखण
Reinforcement learning from human feedback (RLHF)
पोस्ट-ट्रेनिंग दृष्टिकोणों का एक परिवार जो मॉडल के व्यवहार को आकार देने के लिए मानव वरीयता संकेतों और रीइन्फोर्समेंट-लर्निंग तकनीकों का उपयोग करता है।
इसका उपयोग केवल एक स्पष्ट रिवार्ड डिज़ाइन, स्थिर प्रशिक्षण सेटअप, सुरक्षा मूल्यांकन और मजबूत डेटा गवर्नेंस के साथ करें।
एक रिवॉर्ड सिग्नल को प्रशिक्षित और मान्य करें, नीति को रूढ़िवादी रूप से अनुकूलित करें और SFT बेसलाइन के खिलाफ तुलना करें।प्राथमिकता संरेखण
Reward model
एक मॉडल जो सीखी गई प्राथमिकताओं या गुणवत्ता संकेतों के अनुसार उम्मीदवार आउटपुट को स्कोर करता है।
इसका उपयोग तब करें जब एक प्रशिक्षण या चयन प्रक्रिया को प्रलेखित प्राथमिकताओं का एक स्केलेबल अनुमान चाहिए।
होल्ड-आउट तुलनाओं पर रिवार्ड-मॉडल सटीकता, अंशांकन, उपसमूह व्यवहार और शोषण क्षमता का मूल्यांकन करें।प्राथमिकता संरेखण
Preference optimization
प्रशिक्षण के बाद जो तुलनात्मक प्राथमिकताओं, पुरस्कारों या संबंधित प्रतिक्रिया संकेतों का उपयोग करके मॉडल के व्यवहार को अपडेट करता है।
इसका उपयोग एक व्यापक श्रेणी के रूप में करें जिसमें प्रत्यक्ष-वरीयता और सुदृढीकरण-सीखने वाले दृष्टिकोण शामिल हैं।
प्राथमिकता दिशानिर्देश, संदर्भ व्यवहार, अनुकूलन विधि और प्रतिधारण मूल्यांकन को परिभाषित करें।प्राथमिकता संरेखण
Reinforcement learning from AI feedback (RLAIF)
सुदृढीकरण-सीखने के दृष्टिकोणों का एक परिवार जो सीधे मानव निर्णयों पर निर्भर रहने के बजाय, AI सिस्टम द्वारा उत्पन्न या सहायता प्राप्त प्रतिक्रिया का उपयोग करता है।
इसका उपयोग केवल मान्य प्रतिक्रिया मानदंडों, मानव निरीक्षण, पूर्वाग्रह जांच और आत्म-सुदृढ़ त्रुटियों के खिलाफ सुरक्षा के साथ करें।
नीति अनुकूलन से पहले विशेषज्ञ मानव निर्णयों के एक अलग सेट के खिलाफ AI प्रतिक्रिया को कैलिब्रेट करें।प्राथमिकता संरेखण
Reinforcement fine-tuning
फाइन-ट्यूनिंग जो ग्रेडर, वातावरण, नियमों या प्रतिक्रिया मॉडलों द्वारा उत्पन्न इनाम संकेतों से मॉडल के व्यवहार को अनुकूलित करता है।
इसका उपयोग तब करें जब परिणामों को विश्वसनीय रूप से स्कोर किया जा सकता है और प्रशिक्षण प्रणाली रिवार्ड हैकिंग, स्थिरता और क्षमता प्रतिधारण की निगरानी कर सकती है।
सत्यापित कार्य परिणामों को स्कोर करें, रूढ़िवादी रूप से अनुकूलित करें और अपरिवर्तित और SFT बेसलाइन के खिलाफ तुलना करें।प्राथमिकता संरेखण
Direct preference optimization (DPO)
एक प्राथमिकता-प्रशिक्षण विधि जो चुने गए और अस्वीकृत प्रतिक्रियाओं का सीधे उपयोग करके एक नीति को संदर्भ व्यवहार के सापेक्ष अपडेट करती है।
इसका उपयोग तब करें जब उपयुक्त प्राथमिकता जोड़े और एक संगत प्रशिक्षण कार्यान्वयन उपलब्ध हों।
स्वीकृत SFT चेकपॉइंट से DPO को प्रशिक्षित करें और उपयोगिता, सुरक्षा और क्षमता प्रतिधारण की तुलना करें।प्राथमिकता संरेखण
Proximal policy optimization (PPO)
एक पॉलिसी-ऑप्टिमाइजेशन एल्गोरिदम जो अपडेट के आकार को सीमित करता है जबकि एक इनाम सिग्नल को अनुकूलित करता है।
इसका उपयोग रीइन्फोर्समेंट-लर्निंग पाइपलाइनों में करें जो रिवार्ड, वैल्यू, रोलआउट और स्थिरता की निगरानी का समर्थन कर सकते हैं।
PPO के दौरान रिवॉर्ड, संदर्भ मॉडल से विचलन, प्रतिक्रिया लंबाई और सुरक्षा मेट्रिक्स को ट्रैक करें।प्राथमिकता संरेखण
Group relative policy optimization (GRPO)
एक रीइन्फोर्समेंट-लर्निंग विधि जो एक ही प्रॉम्प्ट के लिए कई नमूना आउटपुट के बीच पुरस्कारों की तुलना करती है ताकि सापेक्ष लाभ का अनुमान लगाया जा सके।
इसका उपयोग केवल तभी करें जब समूह नमूनाकरण, रिवार्ड गुणवत्ता, प्रशिक्षण स्थिरता और कंप्यूट लागत कार्य के लिए उपयुक्त हों।
प्रत्येक समस्या के लिए कई समाधानों का नमूना लें, उन्हें सत्यापित जांचों के साथ स्कोर करें और समूह-सापेक्ष पुरस्कारों से अनुकूलित करें।मूल्यांकन और प्रतिगमन
Fine-tuning validation loss
लॉस को होल्ड-आउट फाइन-ट्यूनिंग उदाहरणों पर मापा जाता है, बिना मॉडल को उन उदाहरणों से अपडेट किए।
इसका उपयोग कार्य, सुरक्षा और व्यवहार मेट्रिक्स के साथ करें क्योंकि कम हानि अकेले बेहतर उत्पादन व्यवहार को साबित नहीं करता है।
सत्यापन हानि और फिक्स्ड प्रोडक्शन-स्टाइल मूल्यांकन सूट का उपयोग करके उम्मीदवार चेकपॉइंट का चयन करें।मूल्यांकन और प्रतिगमन
Holdout evaluation
प्रशिक्षण और मॉडल-चयन प्रतिक्रिया से जानबूझकर बाहर किए गए उदाहरणों पर मूल्यांकन।
इसका उपयोग अनदेखे मामलों पर प्रदर्शन का कम-पक्षपाती अनुमान प्राप्त करने के लिए करें और सेट को बार-बार ट्यूनिंग से बचाएं।
केवल उम्मीदवार चेकपॉइंट का चयन करने के बाद लॉक होल्डआउट सूट चलाएं।मूल्यांकन और प्रतिगमन
Checkpoint selection
पूर्वनिर्धारित गुणवत्ता, सुरक्षा, लागत और प्रतिगमन मानदंडों के आधार पर, किस सहेजे गए प्रशिक्षण स्थिति को आगे बढ़ाना है, इसका चयन करें।
एक निश्चित मूल्यांकन सूट का उपयोग करें और केवल प्रशिक्षण हानि से चयन न करें।
उस चेकपॉइंट को बढ़ावा दें जो कार्य, सुरक्षा, बहुभाषी, विलंबता और स्मरण द्वार पास करता है।मूल्यांकन और प्रतिगमन
Base-model comparison
एक नियंत्रित मूल्यांकन जो फाइन-ट्यून किए गए मॉडल की तुलना अपरिवर्तित बेस मॉडल से करता है।
फ़ाइन-ट्यूनिंग को विशेषताओं के लिए समान प्रॉम्प्ट, पुनर्प्राप्ति, डिकोडिंग और डेटासेट का उपयोग करें।
बेस और ट्यून किए गए उम्मीदवारों के लिए जीत, टाई, प्रतिगमन, विलंबता और लागत की रिपोर्ट करें।मूल्यांकन और प्रतिगमन
Catastrophic forgetting
नए डेटा या उद्देश्यों पर दृढ़ता से प्रशिक्षण के बाद पहले सीखी गई क्षमता का नुकसान।
ट्यूनिंग के बाद, सामान्य क्षमताओं, भाषाओं, सुरक्षा व्यवहार और आउट-ऑफ-डोमेन कार्यों का परीक्षण करें।
फाइन-ट्यूनिंग से पहले और बाद में बेसलाइन क्षमता सूट चलाएं और सामग्री में गिरावट को रोकें।मूल्यांकन और प्रतिगमन
Capability regression
फाइन-ट्यूनिंग या परिनियोजन परिवर्तनों के बाद एक मौजूदा मॉडल क्षमता में मापने योग्य गिरावट।
प्रशिक्षण और रिलीज़ से पहले महत्वपूर्ण कार्यों के लिए प्रतिगमन थ्रेसहोल्ड को परिभाषित करें।
यदि बहुभाषी निष्कर्षण सटीकता स्वीकृत सीमा से नीचे गिरती है तो रिलीज को विफल करें।मूल्यांकन और प्रतिगमन
Safety regression
अनुकूलन के बाद अस्वीकृति, गोपनीयता, निष्पक्षता या हानिकारक सामग्री के व्यवहार में कमी।
प्रत्येक उम्मीदवार चेकपॉइंट के लिए लक्षित प्रतिकूल और नीति मूल्यांकन चलाएं।
स्वीकृत बेसलाइन के साथ जेलब्रेक, PII प्रकटीकरण, पूर्वाग्रह और असुरक्षित-पूर्णता दरों की तुलना करें।मूल्यांकन और प्रतिगमन
Training-data memorization
एक मॉडल का विशिष्ट प्रशिक्षण उदाहरणों का प्रतिधारण और संभावित पुनरुत्पादन, वांछित सामान्यीकरण से परे।
रिलीज से पहले असामान्य वाक्यांश प्रजनन, रहस्यों, व्यक्तिगत डेटा और लगभग-सटीक आउटपुट के लिए परीक्षण करें।
होल्ड-आउट उपसर्गों का परीक्षण करें और यदि मॉडल संवेदनशील निरंतरता को पुन: उत्पन्न करता है तो रिलीज को अवरुद्ध करें।मूल्यांकन और प्रतिगमन
Fine-tuning versus RAG
मॉडल के व्यवहार को प्रशिक्षण के माध्यम से बदलने और अनुरोध समय पर बाहरी ज्ञान प्रदान करने के बीच एक डिज़ाइन निर्णय।
वर्तमान या बार-बार बदलते तथ्यों के लिए पुनर्प्राप्ति को प्राथमिकता दें और स्थिर व्यवहार, प्रारूप या कार्य पैटर्न के लिए फाइन-ट्यूनिंग करें, फिर यदि आवश्यक हो तो एक संयुक्त दृष्टिकोण का मूल्यांकन करें।
फाइन-ट्यूनिंग स्वचालित रूप से अक्सर बदलते तथ्यों को अद्यतित नहीं करता है या स्रोत उद्धरण प्रदान नहीं करता है।
वर्तमान नीतियों के लिए RAG और स्वीकृत प्रतिक्रिया संरचना के लिए SFT का उपयोग करें।अधिकार और संचालन
Fine-tuning data rights
लाइसेंस, अनुमतियां, अनुबंध की शर्तें और डेटा का उपयोग मॉडल अनुकूलन के लिए करने के लिए आवश्यक अन्य प्राधिकरण।
स्रोत और उदाहरण स्तर पर अधिकारों को सत्यापित करें और मूल, प्रतिबंधों और हटाने की प्रक्रियाओं को बनाए रखें।
ऑनलाइन उपलब्धता, API एक्सेस, या फ़ाइल का स्वामित्व अपने आप ही फाइन-ट्यूनिंग अधिकार प्रदान नहीं करता है।
स्रोत, अधिकार धारक, लाइसेंस या अनुमति, अनुमत प्रशिक्षण उपयोग, क्षेत्र, अवधि और हटाने के संपर्क को रिकॉर्ड करें।अधिकार और संचालन
Personal data in fine-tuning
अनुकूलन डेटा में वह जानकारी जो किसी व्यक्ति की पहचान करती है या उससे जुड़ी हो सकती है।
प्रशिक्षण से पहले कम करें, रेडैक्ट करें, उचित प्राधिकरण प्राप्त करें, पहुंच को प्रतिबंधित करें और प्रतिधारण और हटाने को परिभाषित करें।
नामों और खाता पहचानकर्ताओं को नियंत्रित प्लेसहोल्डर से बदलें और रूपांतरित डेटासेट को सत्यापित करें।अधिकार और संचालन
Model registry
मॉडल, एडेप्टर, चेकपॉइंट, मूल्यांकन, अनुमोदन और परिनियोजन मेटाडेटा का एक नियंत्रित कैटलॉग।
इसका उपयोग यह ट्रैक करने के लिए करें कि कौन सा कलाकृति स्वीकृत, तैनात, अप्रचलित है, या रोलबैक के लिए पात्र है।
मॉडल डाइजेस्ट, बेस संस्करण, एडाप्टर, डेटासेट, मूल्यांकन, मालिक, अनुमोदन और परिनियोजन चरण को पंजीकृत करें।अधिकार और संचालन
Adapter serving
एक आधार मॉडल को एक चयन योग्य कार्य- या डोमेन-विशिष्ट एडेप्टर के साथ इंफेरेंस समय पर परोसना।
इसका उपयोग तब करें जब रनटाइम एडेप्टर को अलग कर सकता है, चयन को अधिकृत कर सकता है, मेमोरी का प्रबंधन कर सकता है और संस्करण संगतता को बनाए रख सकता है।
स्वीकृत वित्त अनुरोधों को वित्त एडेप्टर (adapter) पर रूट करें और सटीक बेस-प्लस-एडाप्टर संस्करण को लॉग करें।अधिकार और संचालन
Fine-tuning provider data policy
अपलोड किए गए प्रशिक्षण डेटा, प्रतिधारण, हटाने, मॉडल एक्सेस, भौगोलिक प्रसंस्करण और द्वितीयक उपयोग के लिए सेवा प्रदाता की शर्तें और नियंत्रण।
किसी भी डेटासेट को अपलोड करने से पहले वर्तमान अनुबंध और उत्पाद दस्तावेज़ की समीक्षा करें, और स्वीकृत कॉन्फ़िगरेशन को रिकॉर्ड करें।
प्रदाता नीतियां बदल सकती हैं; प्रत्येक सामग्री प्रशिक्षण कार्यक्रम से पहले उन्हें फिर से जांचें और कभी भी यह न मान लें कि API एक्सेस डेटा-उपयोग अधिकारों को प्रदान करता है।
प्रतिधारण अवधि, विलोपन प्रक्रिया, प्रशिक्षण-उपयोग सेटिंग, पहुंच भूमिकाएँ, क्षेत्र, एन्क्रिप्शन और घटना प्रक्रिया को सत्यापित करें।अधिकार और संचालन
Fine-tuned model versioning
ट्यून किए गए मॉडल को उत्पन्न करने वाले सटीक बेस मॉडल, एडाप्टर या चेकपॉइंट, डेटा, कोड और कॉन्फ़िगरेशन को ट्रैक करना।
अपरिवर्तनीय पहचानकर्ताओं का उपयोग करें ताकि मूल्यांकन, घटनाएं, रोलबैक और ऑडिट एक ही कलाकृति को संदर्भित करें।
Version = base model digest + adapter digest + dataset hash + code commit + training config.अधिकार और संचालन
Fine-tuning rollback
समस्या का पता चलने के बाद, पहले से स्वीकृत मॉडल या एडेप्टर पर उत्पादन ट्रैफ़िक लौटाना।
इसे रिलीज़ से पहले आर्टिफैक्ट प्रतिधारण, संगतता जांच, रूटिंग नियंत्रण और निर्णय प्राधिकरण के साथ तैयार करें।
नवीनतम स्वीकृत बेस-प्लस-एडेप्टर संयोजन को तैनात करने योग्य रखें और रोलबैक पथ का अभ्यास करें।सबसे सरल दृष्टिकोण से शुरू करें जो आवश्यकता को मज़बूती से पूरा करता है, और फिर आवश्यक होने पर संयोजनों का मूल्यांकन करें।
| आपको क्या चाहिए | सबसे पहले विचार करने योग्य दृष्टिकोण |
|---|---|
| प्रतिक्रिया प्रारूप या टोन में सुधार करें। | प्रॉम्प्ट डिज़ाइन या SFT |
| वर्तमान या निजी दस्तावेज़ों से उत्तर। | स्रोत-आधारित पुनर्प्राप्ति के साथ RAG |
| Learn repeatable task behavior | प्रतिनिधि उदाहरणों के साथ फाइन-ट्यूनिंग |
| व्यापक उद्योग भाषा और पैटर्न को अपनाएं | पूर्व-प्रशिक्षण जारी रखें या डोमेन फाइन-ट्यूनिंग |
| Learn from preferred and rejected responses | DPO या कोई अन्य मान्य प्राथमिकता-अनुकूलन विधि |
विधियों के लिए अलग-अलग डेटा की आवश्यकता होती है और वे अलग-अलग संकेतों को अनुकूलित करते हैं; वे फाइन-ट्यूनिंग के लिए परस्पर विनिमेय लेबल नहीं हैं।
| विधि | विशिष्ट डेटा और उद्देश्य |
|---|---|
| SFT | निर्देश-प्रतिक्रिया या लेबल किए गए उदाहरण; समीक्षा किए गए लक्षित व्यवहार को पुन: उत्पन्न करना सीखें। |
| DPO | चयनित/अस्वीकृत प्रतिक्रिया युग्म; संदर्भ व्यवहार के खिलाफ सापेक्ष प्राथमिकता को सीधे बढ़ाएं। |
| GRPO | कई नमूना आउटपुट और सत्यापित पुरस्कार; समूह-सापेक्ष लाभों से अनुकूलित करें। |
प्री-ट्रेनिंग बड़े पैमाने पर व्यापक पैटर्न सिखाता है और एक बेस मॉडल बनाता है। फाइन-ट्यूनिंग उस मॉडल से शुरू होती है और संकीर्ण डेटा और उद्देश्यों के साथ एक कार्य, प्रारूप, डोमेन, प्राथमिकता या सुरक्षा व्यवहार को अनुकूलित करने के लिए जारी रहती है।
लगातार बदलने वाला या स्रोत-संवेदनशील ज्ञान आमतौर पर RAG के लिए उपयुक्त होता है क्योंकि दस्तावेज़ों को अपडेट किया जा सकता है और अनुरोध समय पर उद्धृत किया जा सकता है। फाइन-ट्यूनिंग आमतौर पर स्थिर व्यवहार, प्रारूप या कार्य पैटर्न के लिए अधिक उपयुक्त होती है। कुछ सिस्टम दोनों को जोड़ते हैं।
LoRA आधार भार को स्थिर रखते हुए, निम्न-रैंक एडाप्टर अपडेट को प्रशिक्षित करता है। QLoRA अतिरिक्त रूप से मेमोरी को कम करने के लिए बेस मॉडल को एक समर्थित क्वांटाइज्ड प्रतिनिधित्व में लोड करता है। गुणवत्ता और अनुकूलता का मूल्यांकन सटीक स्टैक के लिए किया जाना चाहिए।
नहीं। एक ट्यून किया गया मॉडल अभी भी पुराना हो सकता है और यह स्वाभाविक रूप से उत्पन्न दावे के स्रोत को उजागर नहीं करता है। ताज़ापन और उद्धरणों के लिए पुनर्प्राप्ति या किसी अन्य सत्यापित डेटा कनेक्शन का उपयोग करें।
समीक्षा किए गए लक्ष्य प्रतिक्रियाओं के लिए SFT, तुलनात्मक प्राथमिकता जोड़े के लिए DPO, और GRPO का उपयोग करें, जो उन कार्यों के लिए है जिनमें कई नमूना आउटपुट में विश्वसनीय पुरस्कार होते हैं। केवल डेटा, उद्देश्य, मूल्यांकन, सुरक्षा और कंप्यूट आवश्यकताओं की पुष्टि करने के बाद ही चुनें।
डेटा अधिकार, सहमति, गोपनीयता, व्यक्तिगत-डेटा हैंडलिंग, प्रदाता नियम, प्रतिधारण और विलोपन, भौगोलिक प्रसंस्करण, मॉडल-पहुंच नियंत्रण, माध्यमिक प्रशिक्षण उपयोग, एन्क्रिप्शन, घटना प्रतिक्रिया और वर्तमान अनुबंध को सत्यापित करें।
आधिकारिक गाइड जो डेटासेट, टोकनाइजेशन, प्रशिक्षण तर्क, मूल्यांकन और चेकपॉइंट के साथ एक पूर्व-प्रशिक्षित मॉडल से प्रशिक्षण जारी रखने के बारे में है।
LoRA कॉन्फ़िगरेशन, रैंक, अल्फा, लक्ष्य मॉड्यूल और पैरामीटर-कुशल अनुकूलन के लिए आधिकारिक वैचारिक मार्गदर्शिका।
आधिकारिक अवलोकन और उदाहरण जो प्रशिक्षण के बाद की विधियों जैसे SFT, रिवार्ड मॉडलिंग, DPO और GRPO के लिए हैं।
पहले डेटासेट, बैच, युग, हानि, अनुकूलन, सामान्यीकरण, हार्डवेयर और पुनरुत्पादकता की समीक्षा करें।
जाँच करें कि क्या निर्देश, उदाहरण, स्कीमा या प्रॉम्प्ट चेनिंग प्रशिक्षण से पहले आवश्यकता को हल कर सकते हैं।
पुनर्प्राप्ति अवधारणाओं का उपयोग करें जब उत्तरों के लिए वर्तमान, निजी, स्रोत-आधारित ज्ञान की आवश्यकता होती है।
ट्यून किए गए मॉडल मूल्यांकन को निश्चित डेटासेट, बेंचमार्क, मानव समीक्षा, प्रतिगमन परीक्षण, विलंबता और लागत से कनेक्ट करें।