AI Engineering Tools

जनरेटिव AI इंजीनियरिंग

RAG और दस्तावेज़ खोज शब्द

विश्वसनीय दस्तावेजों से सत्यापित AI उत्तर बनाने के लिए उपयोग किए जाने वाले इनपुट, अनुक्रमण, पुनर्प्राप्ति, रैंकिंग, ग्राउंडिंग, उद्धरण और RAG प्रॉम्प्ट पैटर्न के बारे में जानें।

19 शब्द

अवलोकन

पुनर्प्राप्ति-संवर्धित पीढ़ी RAG

Retrieval-augmented generation (RAG)

अर्थ

एक पैटर्न जो प्रासंगिक बाहरी जानकारी प्राप्त करता है और पीढ़ी से पहले इसे मॉडल को प्रदान करता है।

कब उपयोग करें

इसका उपयोग तब करें जब उत्तर वर्तमान, निजी या डोमेन-विशिष्ट दस्तावेज़ों पर आधारित होने चाहिए।

उदाहरण

प्रश्न के लिए नीति अनुच्छेदों को पुनर्प्राप्त करें, फिर केवल उन अनुच्छेदों का उपयोग करके उत्तर दें।

अंतर्ग्रहण (Ingestion)

चंकिंग

Chunking

अर्थ

दस्तावेजों को छोटे इकाइयों में विभाजित करना जो अनुक्रमित और पुनर्प्राप्त किए जा सकते हैं।

कब उपयोग करें

ऐसे चंक सीमाएँ चुनें जो अर्थ को बनाए रखें जबकि पुनर्प्राप्ति को केंद्रित रखें।

उदाहरण

हैंडबुक को अनुभागों में विभाजित करें और प्रत्येक शीर्षक को उसके पैराग्राफ के साथ रखें।

अनुक्रमण

एम्बेडिंग

Embedding

अर्थ

एक संख्यात्मक वेक्टर जो पाठ या अन्य सामग्री की अर्थ संबंधी विशेषताओं का प्रतिनिधित्व करता है।

कब उपयोग करें

सटीक कीवर्ड मिलानों से परे सिमेंटिक समानता की तुलना करने के लिए एम्बेडिंग का उपयोग करें।

उदाहरण

प्रत्येक दस्तावेज़ खंड और उपयोगकर्ता के प्रश्न के लिए एम्बेडिंग बनाएं।

अनुक्रमण

वेक्टर स्टोर

Vector store

अर्थ

एक प्रणाली जो एम्बेडिंग (embeddings) को संग्रहीत करती है और निकटतम-पड़ोसी पुनर्प्राप्ति (nearest-neighbor retrieval) का समर्थन करती है।

कब उपयोग करें

इसका उपयोग शब्दार्थ सूचकांक और संबंधित दस्तावेज़ मेटाडेटा का प्रबंधन करने के लिए करें।

उदाहरण

प्रत्येक चंक वेक्टर को उसके स्रोत URL, शीर्षक और एक्सेस दायरे के साथ संग्रहीत करें।

पुनर्प्राप्ति

समानता खोज

Similarity search

अर्थ

पुनर्प्राप्ति इस बात पर आधारित है कि एक चुने हुए दूरी माप के तहत वेक्टर प्रतिनिधित्व कितने करीब हैं।

कब उपयोग करें

इसका उपयोग उन अंशों को खोजने के लिए करें जिनका अर्थ क्वेरी से संबंधित है।

उदाहरण

खोज: क्वेरी एम्बेडिंग के निकटतम अंशों के लिए वेक्टर स्टोर।

पुनर्प्राप्ति

पुनर्प्राप्तकर्ता

Retriever

अर्थ

वह घटक जो किसी क्वेरी के लिए उम्मीदवार दस्तावेज़ या टुकड़ों का चयन करता है।

कब उपयोग करें

इसे क्वेरी रीराइटिंग, फ़िल्टर, खोज विधियों और परिणाम सीमाओं को संयोजित करने के लिए कॉन्फ़िगर करें।

उदाहरण

पुनर्प्राप्तिकर्ता नीति चंक्स लौटाता है जो वर्तमान उपयोगकर्ता को एक्सेस करने की अनुमति है।

पुनर्प्राप्ति

टॉप-के

Top-k

अर्थ

अगले चरण के लिए चुने गए उच्चतम-रैंकिंग पुनर्प्राप्ति परिणामों की संख्या।

कब उपयोग करें

इसे साक्ष्य कवरेज को शोर और संदर्भ उपयोग के खिलाफ संतुलित करने के लिए ट्यून करें।

उदाहरण

शीर्ष-k 8 उम्मीदवारों को पुनर्प्राप्त करें, फिर उन्हें फिर से रैंक करें और सर्वश्रेष्ठ 4 को रखें।

पुनर्प्राप्ति

मेटाडेटा फ़िल्टर

Metadata filter

अर्थ

एक प्रतिबंध जो तारीख, उत्पाद, भाषा या अनुमतियों जैसे विशेषताओं के आधार पर पुनर्प्राप्ति को सीमित करता है।

कब उपयोग करें

इसका उपयोग दायरे और पहुंच नियंत्रण को लागू करने के लिए सिमेंटिक रैंकिंग से पहले करें।

उदाहरण

2025 के बाद प्रकाशित कोरियाई दस्तावेज़ों को फ़िल्टर करें जिन्हें उपयोगकर्ता देख सकता है।

पुनर्प्राप्ति

हाइब्रिड खोज

Hybrid search

अर्थ

एक खोज विधि जो लेक्सिकल कीवर्ड संकेतों को सिमेंटिक वेक्टर संकेतों के साथ जोड़ती है।

कब उपयोग करें

इसका उपयोग तब करें जब सटीक पहचानकर्ता और वैचारिक समानता दोनों महत्वपूर्ण हों।

उदाहरण

त्रुटि कोड AB-104 के लिए, BM25 कीवर्ड परिणामों को एम्बेडिंग समानता के साथ मिलाएं।

रैंकिंग

फिर से रैंकिंग

Reranking

अर्थ

एक दूसरा-चरण मॉडल या नियम जो प्रासंगिकता के लिए पुनः प्राप्त उम्मीदवारों को पुन: व्यवस्थित करता है।

कब उपयोग करें

इसका उपयोग व्यापक उम्मीदवार सेट एकत्र करने के बाद परिशुद्धता में सुधार करने के लिए करें।

उदाहरण

20 उम्मीदवार टुकड़ों को फिर से रैंक करें और सर्वश्रेष्ठ 5 को जनरेटर को भेजें।

ग्राउंडेड प्रतिक्रिया

ग्राउंडिंग

Grounding

अर्थ

एक उत्पन्न प्रतिक्रिया को आपूर्ति किए गए या पुनर्प्राप्त साक्ष्य से जोड़ना।

कब उपयोग करें

इसका उपयोग अमान्य दावों को कम करने और उत्तर को ऑडिट करने योग्य बनाने के लिए करें।

उदाहरण

केवल पुनर्प्राप्त नीति अंशों द्वारा समर्थित दावों का उत्तर दें।

ग्राउंडेड प्रतिक्रिया

उद्धरण

Citation

अर्थ

एक संदर्भ जो उस स्रोत की पहचान करता है जो किसी दावे का समर्थन करता है।

कब उपयोग करें

पाठकों को साक्ष्य को जल्दी से सत्यापित करने में मदद करने के लिए दावों के स्तर पर उद्धरण संलग्न करें।

सावधानी

एक उद्धरण अभी भी अप्रासंगिक साक्ष्य की ओर इशारा कर सकता है; सत्यापित करें कि यह वास्तव में दावे का समर्थन करता है।

उदाहरण

प्रत्येक नीति दावे के लिए दस्तावेज़ शीर्षक, अनुभाग और प्रत्यक्ष स्रोत लिंक शामिल करें।

RAG प्रॉम्प्ट पैटर्न

क्वेरी रीराइटिंग प्रॉम्प्ट

Query rewriting prompt

अर्थ

एक निर्देश जो उपयोगकर्ता के अनुरोध को एक या अधिक प्रश्नों में बदल देता है जो कीवर्ड, सिमेंटिक, हाइब्रिड, या फ़िल्टर्ड पुनर्प्राप्ति के लिए अधिक उपयुक्त हैं।

कब उपयोग करें

इसका उपयोग अस्पष्ट, संवादात्मक, अस्पष्ट या डोमेन-बेमेल प्रश्नों के लिए करें, जबकि मूल इरादे को बनाए रखें।

सावधानी

उपयोगकर्ता के इरादे को चुपचाप न बदलें, बिना समर्थन वाले तथ्यों को न जोड़ें, या एक्सेस फ़िल्टर को कमजोर न करें।

उदाहरण

हाइब्रिड खोज के लिए प्रश्न को फिर से लिखें। मूल इरादे को बनाए रखें, संभावित दस्तावेज़ शब्दावली जोड़ें, और मूल प्रश्न के साथ-साथ अधिकतम तीन पुनर्लिखित प्रश्नों को वापस करें।

RAG प्रॉम्प्ट पैटर्न

ग्राउंडेड-उत्तर निर्देश

Grounded-answer instruction

अर्थ

एक प्रॉम्प्ट नियम जो तथ्यात्मक दावों को पीढ़ी चरण को आपूर्ति किए गए पुनर्प्राप्त अंशों द्वारा समर्थित होने की आवश्यकता होती है।

कब उपयोग करें

इसका उपयोग तब करें जब उत्तरों को ऑडिट करने योग्य होना चाहिए और समर्थित मॉडल ज्ञान को सबूत के रूप में प्रस्तुत नहीं किया जाना चाहिए।

उदाहरण

आपूर्ति किए गए अंशों का उपयोग करके प्रश्न का उत्तर दें। प्रत्येक तथ्यात्मक दावे के लिए सहायक स्रोत ID संलग्न करें और स्पष्ट रूप से लेबल किए गए किसी भी अनुमान को अलग करें।

RAG प्रॉम्प्ट पैटर्न

केवल संदर्भ-आधारित उत्तर

Context-only answering

अर्थ

एक सख्त पीढ़ी नियम जो उत्तर को केवल उस जानकारी तक सीमित करता है जो आपूर्ति किए गए पुनर्प्राप्ति संदर्भ द्वारा स्पष्ट रूप से समर्थित है।

कब उपयोग करें

इसका उपयोग नीतियों, अनुबंधों, विनियमित सामग्री या अन्य कार्यों के लिए करें जहां बाहरी मॉडल ज्ञान को अंतराल को भरने की अनुमति नहीं दी जानी चाहिए।

सावधानी

यह नियम खराब, अपूर्ण, पुराने या अनधिकृत पुनर्प्राप्ति परिणामों की भरपाई नहीं कर सकता है।

उदाहरण

केवल <retrieved_context> का उपयोग करें। यदि संदर्भ में उत्तर नहीं है, तो पहले के ज्ञान का उपयोग करने के बजाय "insufficient_evidence" लौटाएं।

RAG प्रॉम्प्ट पैटर्न

कोई सबूत नहीं प्रतिक्रिया और अस्वीकृति।

No-evidence response and abstention

अर्थ

एक परिभाषित डिफ़ॉल्ट प्रतिक्रिया जिसका उपयोग तब किया जाता है जब पुनर्प्राप्त साक्ष्य अनुपस्थित, अपर्याप्त, विरोधाभासी या समर्थन सीमा से नीचे होता है।

कब उपयोग करें

इसका उपयोग आश्वस्त अनुमानों को रोकने और मामले को स्पष्टीकरण, एक और पुनर्प्राप्ति प्रयास, या मानव समीक्षा के लिए भेजने के लिए करें।

उदाहरण

यदि कोई भी अंश सीधे उत्तर का समर्थन नहीं करता है, तो स्थिति: insufficient_evidence लौटाएं, बताएं कि क्या गायब है, और एक स्पष्ट करने वाला प्रश्न सुझाएं।

RAG प्रॉम्प्ट पैटर्न

उद्धरण प्रारूप निर्देश

Citation format instruction

अर्थ

एक प्रॉम्प्ट अनुबंध जो परिभाषित करता है कि उत्पन्न उत्तर में स्रोत पहचानकर्ता कहां और कैसे दिखाई देने चाहिए।

कब उपयोग करें

इसका उपयोग ऐसे दावों-स्तर के संदर्भों को उत्पन्न करने के लिए करें जिन्हें एप्लिकेशन और समीक्षक लगातार सत्यापित कर सकते हैं।

सावधानी

उद्धरण का प्रारूपण यह साबित नहीं करता है कि उद्धृत अंश दावे का समर्थन करता है; उद्धरण की शुद्धता को अलग से सत्यापित करें।

उदाहरण

प्रत्येक समर्थित वाक्य के बाद, S1 प्रारूप में एक या अधिक पुनर्प्राप्त ID का हवाला दें। कोई ID न बनाएं और ऐसे स्रोत का हवाला न दें जो वाक्य का समर्थन नहीं करता है।

RAG प्रॉम्प्ट पैटर्न

पुनर्प्राप्त-संदर्भ संश्लेषण

Retrieved-context synthesis

अर्थ

कई पुनर्प्राप्त अंशों से पूरक प्रमाणों को एक सुसंगत उत्तर में मिलाना, बिना स्रोत सीमाओं को मिटाए।

कब उपयोग करें

इसका उपयोग तुलना, सारांश या बहु-भाग वाले प्रश्नों के लिए करें जिनके लिए एक से अधिक अनुभाग की आवश्यकता होती है।

उदाहरण

उप-प्रश्न द्वारा अनुच्छेदों को समूहित करें, डुप्लिकेट हटाएं, तिथियों और दायरे को संरक्षित करें, और फिर दावा-स्तर के स्रोत आईडी के साथ उत्तर को संश्लेषित करें।

RAG प्रॉम्प्ट पैटर्न

संघर्ष-स्रोत हैंडलिंग

Conflicting-source handling

अर्थ

एक प्रॉम्प्ट नियम जो पुनर्प्राप्त स्रोतों के बीच विरोधाभासों का पता लगाने और रिपोर्ट करने के लिए है, बजाय चुपचाप एक को चुनने के।

कब उपयोग करें

इसका उपयोग तब करें जब दस्तावेज़ संस्करण, तिथि, क्षेत्राधिकार, प्राधिकरण या व्याख्या के आधार पर भिन्न हो सकते हैं।

सावधानी

केवल हाल ही में बदलाव हमेशा प्राधिकरण को निर्धारित नहीं करते हैं; डोमेन की स्रोत-प्राथमिकता नीति को प्रॉम्प्ट के बाहर या उसके साथ एन्कोड करें।

उदाहरण

यदि स्रोत विरोधाभासी हैं, तो प्रत्येक दावे को उसके स्रोत, संस्करण और तिथि के साथ सूचीबद्ध करें; विरोधाभास की पहचान करें; एक स्पष्ट प्राधिकरण नियम लागू करें या समीक्षा का अनुरोध करें।

RAG प्रॉम्प्ट प्रवाह

पुनर्प्राप्ति गुणवत्ता और पीढ़ी के निर्देशों को एक साथ डिज़ाइन और मूल्यांकन किया जाना चाहिए; एक संकेत गुम या अनधिकृत साक्ष्य को ठीक नहीं कर सकता है।

चरणप्रॉम्प्ट जिम्मेदारी
पुनर्प्राप्ति से पहलेप्रश्न को फिर से लिखने, विस्तारित करने, फ़िल्टर करने या विघटित करने के दौरान इरादे को सुरक्षित रखें।
संदर्भ असेंबलीलेबल के स्रोत आईडी, संस्करण, तिथियां, अनुमतियां, और अनुभाग सीमाओं को निर्दिष्ट करें।
उत्तर पीढ़ी।दावों को साक्ष्य तक सीमित करें, उद्धरण प्रारूप को परिभाषित करें और अस्वीकृति व्यवहार को निर्दिष्ट करें।
पीढ़ी के बाददावा समर्थन, उद्धरण सटीकता, संघर्ष, पूर्णता और पहुंच अनुपालन को मान्य करें।

अक्सर पूछे जाने वाले प्रश्न

क्या एक सख्त, संदर्भ-आधारित प्रॉम्प्ट तथ्यात्मक उत्तर की गारंटी दे सकता है?

नहीं। यह अनुमत साक्ष्य के दायरे को कम करता है, लेकिन उत्तर अभी भी पैराग्राफ को गलत पढ़ सकता है, असंगत स्रोतों को जोड़ सकता है, गलत उद्धरण संलग्न कर सकता है, या खराब पुनर्प्राप्ति पर भरोसा कर सकता है। पुनर्प्राप्ति रिकॉल, दावे के समर्थन, उद्धरण की शुद्धता और अस्वीकृति व्यवहार को मान्य करें।

RAG सिस्टम को कब उत्तर देने के बजाय बचना चाहिए?

तब बचें जब कोई अधिकृत अंश सीधे आवश्यक दावे का समर्थन न करे, साक्ष्य परिभाषित सीमा से नीचे हो, स्रोत संघर्ष करें बिना किसी प्राधिकरण नियम के, या प्रश्न इतना अस्पष्ट है कि इसे सुरक्षित रूप से पुनर्प्राप्त नहीं किया जा सकता है। एक संरचित कारण और अगला उपयोगी कार्रवाई लौटाएं।

क्या RAG प्रॉम्प्ट में उद्धरणों का अनुरोध किया जाना चाहिए?

हाँ, जब उपयोगकर्ताओं या डाउनस्ट्रीम सिस्टम को दावों को सत्यापित करने की आवश्यकता होती है, तो एप्लिकेशन को वास्तविक स्रोत पहचानकर्ताओं को संरक्षित करना चाहिए और यह सत्यापित करना चाहिए कि प्रत्येक उद्धृत अंश आस-पास के दावे का समर्थन करता है। मॉडल को कभी भी स्रोत आईडी का आविष्कार नहीं करना चाहिए।

आधिकारिक संदर्भ

  • Microsoft Learn — RAG information-retrieval phase

    क्वेरी संवर्धन, अपघटन, पुनर्लेखन, पुनर्प्राप्ति, पुन: रैंकिंग और संचित संदर्भ पर आधिकारिक वास्तुशिल्प मार्गदर्शन।

  • Amazon Bedrock — Configure knowledge-base queries and response generation

    ऑर्केस्ट्रेशन और पीढ़ी प्रॉम्प्ट टेम्प्लेट, रनटाइम प्लेसहोल्डर, पुनर्प्राप्त संदर्भ, प्रश्नों और उद्धरण आउटपुट निर्देशों के लिए आधिकारिक दस्तावेज़।

  • Google Cloud — Check grounding with RAG

    आधिकारिक मार्गदर्शन जो यह मापने के लिए है कि क्या उत्पन्न दावे आपूर्ति किए गए तथ्यों द्वारा समर्थित हैं और सहायक या विरोधाभासी साक्ष्य की पहचान करना है।