जनरेटिव AI इंजीनियरिंग
जानें कि कैसे बजट बनाना है, [NNNN] असेंबल करना है, [NNNN] ऑर्डर करना है, [NNNN] कंप्रेस करना है, [NNNN] कैश करना है, और [NNNN] AI अनुरोधों को विश्वसनीय बनाने के लिए निर्देशों, साक्ष्यों, इतिहास और स्थिति को ट्रैक करना है।
16 शब्द
दायरा और बजट
Context engineering
मॉडल को आपूर्ति किए गए संपूर्ण सूचना वातावरण को डिज़ाइन करना, जिसमें निर्देश, पुनर्प्राप्त साक्ष्य, इतिहास, टूल परिणाम और स्थिति शामिल हैं।
इसका उपयोग तब करें जब विश्वसनीय व्यवहार का चयन और व्यवस्था करने के लिए एक से अधिक प्रॉम्प्ट वाक्य की आवश्यकता होती है।
नीति, ग्राहक स्थिति, प्राप्त साक्ष्य और आउटपुट नियमों को एक नियंत्रित संदर्भ में संयोजित करें।दायरा और बजट
Context budget
उपलब्ध टोकन का योजनाबद्ध आवंटन, जो निर्देशों, साक्ष्य, इतिहास, टूल परिणामों और अपेक्षित आउटपुट के बीच वितरित किया जाता है।
इसे लंबे दस्तावेज़ जोड़ने से पहले सेट करें ताकि आवश्यक निर्देश और आउटपुट स्थान भीड़ न जाएं।
उत्तर के लिए 2,000 टोकन आरक्षित करें और शेष बजट को नीति, उदाहरणों और पुनर्प्राप्त अनुच्छेदों के बीच विभाजित करें।दायरा और बजट
Working context
मॉडल के वर्तमान चरण के लिए सक्रिय रूप से प्रदान की जाने वाली उपलब्ध जानकारी का उपसमुच्चय।
इसका उपयोग वर्तमान-चरण इनपुट को मेमोरी या स्रोत प्रणालियों में कहीं संग्रहीत जानकारी से अलग करने के लिए करें।
इस चरण के लिए, स्वीकृत आउटलाइन और स्रोत नोट्स शामिल करें, लेकिन प्रारंभिक ब्रेनस्टॉर्मिंग को छोड़ दें।असेंबली और विश्वास
Context assembly
चयनित निर्देशों, स्थिति, प्रमाण, उदाहरणों और टूल आउटपुट को मॉडल इनपुट में एकत्र करना।
एक नियतात्मक असेंबली नीति का उपयोग करें ताकि प्रत्येक अनुरोध को आवश्यक टुकड़े एक ज्ञात प्रारूप में प्राप्त हों।
system rules -> verified user state -> retrieved evidence -> current request -> output contractअसेंबली और विश्वास
Context hierarchy
सिस्टम नियमों, एप्लिकेशन निर्देशों, उपयोगकर्ता इनपुट और अविश्वसनीय सामग्री के बीच प्राथमिकता संबंध।
जब इनपुट संघर्ष कर सकते हैं या एम्बेडेड निर्देश शामिल कर सकते हैं तो प्राधिकरण सीमाओं को स्पष्ट करें।
पदानुक्रम लेबल एप्लिकेशन को विश्वास के बारे में तर्क करने में मदद करते हैं, लेकिन सुरक्षा-संवेदनशील अनुमतियों को अभी भी मॉडल के बाहर लागू किया जाना चाहिए।
पुनर्प्राप्त वेबपेज पाठ को सबूत के रूप में मानें, सिस्टम नियमों को ओवरराइड करने की अनुमति के रूप में नहीं।असेंबली और विश्वास
Context ordering
निर्देशों, स्रोत सामग्री, उदाहरणों और वर्तमान प्रश्न का क्रम जिसमें वे दिखाई देते हैं।
मॉडल पर किस प्रकार की जानकारी पर जोर दिया जाता है, इसे प्रभावित कर सकता है, इसलिए प्रतिनिधि इनपुट के साथ क्रम का परीक्षण करें।
लंबे स्रोत को पहले रखें, फिर सटीक प्रश्न और आवश्यक आउटपुट प्रारूप के साथ समाप्त करें।असेंबली और विश्वास
Conversation history
निरंतरता का समर्थन करने के लिए पिछले उपयोगकर्ता और सहायक संदेश बनाए रखे जाते हैं।
केवल प्रासंगिक, अधिकृत और वर्तमान अनुरोध के लिए अभी भी मान्य इतिहास शामिल करें।
लंबे इतिहास पुराने निर्देशों या अनावश्यक व्यक्तिगत डेटा को संरक्षित कर सकते हैं।
पुष्टि की गई आवश्यकताओं को बनाए रखें और अगले पीढ़ी चरण से पहले अप्रचलित ड्राफ्ट को हटा दें।असेंबली और विश्वास
Context provenance
मेटाडेटा रिकॉर्डिंग कि प्रत्येक संदर्भ आइटम कहां से आया है, इसे कब प्राप्त किया गया था, और इसका उपयोग कैसे किया जा सकता है।
इसका उपयोग तब करें जब सबूतों को उद्धृत, ताज़ा, एक्सेस-नियंत्रित या ऑडिट करने की आवश्यकता हो।
प्रत्येक अंश के लिए स्रोत ID, दस्तावेज़ संस्करण, retrieved_at, एक्सेस स्कोप और चंक स्थान संलग्न करें।लंबे संदर्भ क्षमता
Long context
एक इनपुट जिसमें टेक्स्ट या मल्टीमॉडल सामग्री की एक बड़ी मात्रा मॉडल की समर्थित संदर्भ क्षमता के भीतर होती है।
इसका उपयोग तब करें जब कार्य को वास्तव में व्यापक स्रोत कवरेज की आवश्यकता होती है और केवल पुनर्प्राप्ति उपयोगी संबंधों को हटा देगी।
अधिक संदर्भ यह गारंटी नहीं देता है कि प्रत्येक विवरण का उपयोग सटीक रूप से किया जाएगा; वास्तविक मामलों में पुनर्प्राप्ति और तर्क का मूल्यांकन करें।
संपूर्ण अनुबंध सेट का विश्लेषण करें, फिर दस्तावेज़ और अनुभाग संदर्भों के साथ संघर्ष करने वाले खंडों की सूची बनाएं।लंबे संदर्भ क्षमता
Context overflow and truncation
एक स्थिति जहां अनुरोधित इनपुट और आउटपुट क्षमता से अधिक होते हैं, जिसके परिणामस्वरूप सामग्री अस्वीकार या हटा दी जाती है।
अनुमान से पहले इसका पता लगाएं और छंटनी, सारांश, पुनर्प्राप्ति, या कार्य को विभाजित करने के लिए एक स्पष्ट नीति लागू करें।
साइलेंट ट्रंकेशन सही उत्तर के लिए आवश्यक सटीक निर्देश या साक्ष्य को हटा सकता है।
यदि इनपुट बजट से अधिक है, तो सिस्टम नियमों और नवीनतम अनुरोध को बनाए रखें, फिर सबसे प्रासंगिक साक्ष्य प्राप्त करें।लंबे संदर्भ क्षमता
Lost-in-the-middle effect
एक प्रवृत्ति जिसके कारण लंबे इनपुट में दबे हुए प्रासंगिक जानकारी का उपयोग प्रमुख जानकारी की तुलना में कम विश्वसनीय रूप से किया जाता है।
विफलताओं के प्रकट होने पर पुनर्प्राप्ति, क्रम, लेबल या क्वेरी प्लेसमेंट में सुधार के लिए विभिन्न स्थितियों में महत्वपूर्ण साक्ष्य का परीक्षण करें।
एक ही साक्ष्य का मूल्यांकन शुरुआत, मध्य और अंत के पास करें, बजाय एक ही स्थान पर निर्भर रहने के।अनुकूलन और पुन: उपयोग
Context pruning
अनुरोध भेजने से पहले अप्रासंगिक, डुप्लिकेट, समाप्त या कम-मूल्य वाली वस्तुओं को हटाना।
इसका उपयोग आधिकारिक निर्देशों और प्रमाणों के लिए ध्यान और बजट को संरक्षित करने के लिए करें।
डुप्लिकेट खोज परिणामों और संदेशों को हटा दें जो उपयोगकर्ता के अंतिम निर्णय द्वारा अप्रचलित हो गए हैं।अनुकूलन और पुन: उपयोग
Context compression
स्रोत सामग्री को एक छोटे रूप में प्रस्तुत करना, जबकि कार्य के लिए आवश्यक जानकारी को संरक्षित करना।
संरचित सारांशों का उपयोग करें जब पूर्ण स्रोत पाठ बहुत बड़ा हो, और मूल साक्ष्य से लिंक बनाए रखें।
संपीड़न सूक्ष्मता को छोड़ सकता है या त्रुटियां पेश कर सकता है, इसलिए स्रोत के खिलाफ उच्च-प्रभाव दावों को सत्यापित करें।
प्रत्येक बैठक को निर्णयों, मालिकों, समय-सीमाओं, अनसुलझे मुद्दों और स्रोत टाइमस्टैम्प में संपीड़ित करें।अनुकूलन और पुन: उपयोग
Reusable prompt prefix
निर्देशों या संदर्भ सामग्री का एक स्थिर प्रारंभिक ब्लॉक जो बार-बार अनुरोधों में साझा किया जाता है।
स्थिर सामग्री को एक साथ रखें जब प्रदाता या रनटाइम समान उपसर्गों को कुशलतापूर्वक पुन: उपयोग कर सके।
स्वीकृत नीति और स्कीमा को पहले रखें; अनुरोध-विशिष्ट प्रमाण और प्रश्न को बाद में जोड़ें।अनुकूलन और पुन: उपयोग
Context caching
प्लेटफ़ॉर्म द्वारा समर्थित होने पर, बाद के अनुरोधों के लिए पहले संसाधित इनपुट टोकन या संग्रहीत संदर्भ का पुन: उपयोग करना।
इसका उपयोग समान बड़े निर्देशों, दस्तावेज़ों, मीडिया या कोडबेस पर बार-बार पूछे जाने वाले प्रश्नों के लिए करें।
कैश व्यवहार, न्यूनतम आकार, जीवनकाल, मूल्य निर्धारण और अमान्यकरण प्रदाता और मॉडल के अनुसार भिन्न होते हैं।
नीति डेटाबेस को एक बार कैश करें, फिर उसके खिलाफ छोटे, केस-विशिष्ट प्रश्न भेजें।अनुकूलन और पुन: उपयोग
Cache hit and cache miss
एक कैश हिट योग्य पूर्व संदर्भ का पुन: उपयोग करता है; एक मिस के लिए इनपुट को फिर से संसाधित करने की आवश्यकता होती है।
दोहराव वाले उपसर्गों वाले वर्कलोड के लिए विलंबता और लागत का अनुमान लगाते समय दोनों परिणामों को मापें।
तैनाती के बाद प्रॉम्प्ट संस्करण द्वारा कैश किए गए इनपुट टोकन और मिस रेट को ट्रैक करें।उस सबसे छोटे दृष्टिकोण का उपयोग करें जो साक्ष्य और संबंधों को संरक्षित करता है जिसकी कार्य को वास्तव में आवश्यकता होती है।
| स्थिति | विचार करने योग्य दृष्टिकोण |
|---|---|
| कुछ संक्षिप्त, सीधे प्रासंगिक तथ्य | उन्हें सीधे कार्य संदर्भ में रखें |
| एक बड़ा संग्रह जिसमें केवल कुछ प्रासंगिक अंश होते हैं। | चयनित साक्ष्य प्राप्त करें, रैंक करें और इकट्ठा करें |
| एक ही बड़े स्रोत को बार-बार क्वेरी किया जाता है। | संदर्भ कैशिंग के साथ लंबे संदर्भ का मूल्यांकन करें |
| इतिहास में डुप्लिकेट या अप्रचलित जानकारी हो सकती है। | छंटनी करें और एक स्रोत-लिंक्ड संरचित सारांश बनाएं |
नहीं। प्रॉम्प्ट इंजीनियरिंग निर्देशों और प्रॉम्प्ट संरचना पर केंद्रित है। संदर्भ इंजीनियरिंग यह भी नियंत्रित करती है कि प्रत्येक मॉडल चरण के लिए कौन सा साक्ष्य, इतिहास, स्थिति, टूल परिणाम और पुन: प्रयोज्य सामग्री का चयन और व्यवस्था की जाती है।
आमतौर पर नहीं। अनावश्यक सामग्री लागत और विलंबता को बढ़ाती है और महत्वपूर्ण साक्ष्य का उपयोग करना मुश्किल बना सकती है। प्रतिनिधि कार्यों पर प्रत्यक्ष संदर्भ, पुनर्प्राप्ति, छंटाई, संपीड़न और कैशिंग की तुलना करें।
नहीं। क्षमता केवल यह परिभाषित करती है कि क्या फिट हो सकता है। सटीकता अभी भी प्रासंगिकता, क्रम, विश्वास सीमाओं, मॉडल व्यवहार और यथार्थवादी मामलों के साथ मूल्यांकन पर निर्भर करती है।
आधिकारिक मार्गदर्शन जो लंबे संदर्भ के उपयोग, सीमाओं, क्वेरी प्लेसमेंट, विलंबता, लागत और कैशिंग के बारे में है।
आधिकारिक गाइड जो दोहराए गए संदर्भ को पुन: उपयोग करने और कैश किए गए इनपुट व्यवहार का निरीक्षण करने के बारे में है।
टोकन, संदर्भ विंडो, सिस्टम निर्देशों, अनुमान और पीढ़ी सेटिंग्स की समीक्षा करें।
निर्देशों, उदाहरणों, बाधाओं, स्कीमा और बहु-चरणीय प्रॉम्प्ट संरचना को डिज़ाइन करें।
इसे संदर्भ में इकट्ठा करने से पहले प्रासंगिक साक्ष्य प्राप्त करें और उन्हें रैंक करें।
टूल परिणामों, मेमोरी, योजना और मानव अनुमोदन के साथ संदर्भ असेंबली को कनेक्ट करें।