जनरेटिव AI इंजीनियरिंग
जानें कि प्रॉम्प्ट टेस्ट केस कैसे बनाए जाते हैं, नियंत्रित संस्करणों की तुलना कैसे की जाती है, विफलताओं का विश्लेषण कैसे किया जाता है, रिग्रेशन को कैसे रोका जाता है, और गुणवत्ता, विलंबता और लागत के बीच संतुलन कैसे बनाया जाता है।
16 शब्द
परीक्षण डेटा
Prompt test case
एक परिभाषित इनपुट, संदर्भ, अपेक्षित व्यवहार और मूल्यांकन नियम जिसका उपयोग प्रॉम्प्ट की जांच के लिए किया जाता है।
सामान्य अनुरोधों, किनारे की स्थितियों, अस्पष्ट इनपुट और अपेक्षित अस्वीकृतियों के लिए मामले बनाएं।
इनपुट: लापता खाता ID; अपेक्षित व्यवहार: बिना किसी ID का आविष्कार किए, ID का अनुरोध करें।परीक्षण डेटा
Golden dataset
प्रतिनिधि परीक्षण इनपुट का एक समीक्षा किया गया संग्रह और विश्वसनीय अपेक्षित परिणाम या स्कोरिंग मार्गदर्शन।
इसका उपयोग रिलीज़ में प्रॉम्प्ट परिवर्तनों की लगातार तुलना करने के लिए करें।
वास्तविक उपयोग में परिवर्तन होने पर डेटासेट को ताज़ा करें, जबकि एक स्थिर प्रतिगमन उपसमुच्चय को बनाए रखें।
200 समीक्षा किए गए समर्थन मामले रखें जिनमें अपेक्षित श्रेणी, आवश्यक तथ्य और निषिद्ध दावे हों।प्रयोग
Baseline prompt
वर्तमान या सबसे सरल संकेत जिसका उपयोग तुलना के लिए संदर्भ बिंदु के रूप में किया जाता है।
इसे अनुकूलन से पहले रिकॉर्ड करें ताकि दावा किए गए सुधारों को मापा जा सके।
बेसलाइन v12 उत्पादन मॉडल, डिफ़ॉल्ट पैरामीटर और अपरिवर्तित पुनर्प्राप्ति सेटिंग्स का उपयोग करता है।प्रयोग
Prompt variant
एक वैकल्पिक प्रॉम्प्ट शब्द, संरचना, उदाहरण सेट, मॉडल, या अनुमान कॉन्फ़िगरेशन जो एक बेसलाइन के खिलाफ परीक्षण किया जाता है।
नाम और संस्करण विविधताएं ताकि परिणाम को सुरक्षित रूप से पुन: उत्पन्न और प्रचारित किया जा सके।
वैरिएंट बी स्रोत के बाद बाधाओं को स्थानांतरित करता है और एक नकारात्मक उदाहरण जोड़ता है।प्रयोग
Controlled experiment
एक तुलना जो एक इच्छित कारक को बदलती है जबकि प्रासंगिक इनपुट और सेटिंग्स को स्थिर रखती है।
इसका उपयोग देखे गए अंतर को मॉडल, डेटा या सैंपलिंग के बजाय प्रॉम्प्ट परिवर्तन के लिए जिम्मेदार ठहराने के लिए करें।
केवल निर्देश के शब्दों को बदलें; डेटासेट, मॉडल संस्करण, तापमान और मूल्यांकनकर्ता को स्थिर रखें।प्रयोग
A/B test
एक प्रयोग जो तुलनीय ट्रैफ़िक या परीक्षण नमूनों पर दो प्रॉम्प्ट या कॉन्फ़िगरेशन संस्करणों की तुलना करता है।
इसका उपयोग ऑफ़लाइन जांच के बाद करें जब उत्पादन व्यवहार और उपयोगकर्ता परिणामों की तुलना की जानी हो।
पात्रता नियमों, निगरानी और स्टॉप स्थितियों के साथ उपयोगकर्ताओं की सुरक्षा करें; बिना समीक्षा के उच्च-जोखिम वाले वर्कफ़्लो को उजागर न करें।
योग्य अनुरोधों को यादृच्छिक रूप से A या B पर रूट करें और कार्य सफलता, सुधारों, विलंबता और लागत की तुलना करें।प्रयोग
Prompt ablation
इसके योगदान को मापने के लिए एक प्रॉम्प्ट घटक को हटाना या बदलना।
इसका उपयोग अनावश्यक निर्देशों, उदाहरणों, या संदर्भों की पहचान करने के लिए करें जो गुणवत्ता में सुधार किए बिना लागत जोड़ते हैं।
तीसरे उदाहरण को हटा दें जबकि अन्य सभी घटकों को अपरिवर्तित रखें।मूल्यांकन
Batch evaluation
कई तैयार मामलों पर एक प्रॉम्प्ट चलाना और प्रति-मामले और समग्र परिणामों को एकत्रित करना।
इसका उपयोग मैन्युअल स्पॉट चेक से पहले करें जिन्हें प्रतिनिधि प्रदर्शन के लिए गलत समझा जा सकता है।
सभी प्रॉम्प्ट वेरिएंट को एक निश्चित मूल्यांकन सेट पर चलाएं और प्रति-मामले विफलताओं को निर्यात करें।मूल्यांकन
Prompt regression
एक व्यवहार जो पहले काम कर रहा था लेकिन एक प्रॉम्प्ट, मॉडल, पुनर्प्राप्ति, टूल, या नीति परिवर्तन के बाद बदतर हो जाता है।
इसे एक स्थिर सूट के साथ ट्रैक करें और प्रत्येक रिलीज़ से पहले परिणामों की तुलना करें।
नया संक्षिप्त प्रारूप लंबाई में सुधार करता है लेकिन आवश्यक स्रोत आईडी को शामिल करना बंद कर देता है।विश्वसनीयता
Robustness test
एक परीक्षण कि क्या स्वीकार्य व्यवहार वास्तविक भिन्नता, शोर, भाषाओं और किनारे के मामलों में भी बना रहता है।
पैराग्राफ, पुन: व्यवस्थित संदर्भ, टाइपो, लापता फ़ील्ड और जानबूझकर भ्रमित करने वाले इनपुट का उपयोग करें।
एक ही इरादे का परीक्षण औपचारिक, संवादात्मक, गलत वर्तनी वाले और बहुभाषी शब्दों के साथ करें।विश्वसनीयता
Sensitivity test
एक परीक्षण जो मापता है कि जब एक छोटे इनपुट या कॉन्फ़िगरेशन विवरण में परिवर्तन होता है तो आउटपुट कितने दृढ़ता से बदलते हैं।
इसका उपयोग शब्दों, उदाहरण क्रम, तापमान, संदर्भ प्लेसमेंट और मॉडल-संस्करण परिवर्तनों के लिए करें।
समान साक्ष्य को शुरुआत से मध्य में ले जाएं और उद्धरण सटीकता की तुलना करें।विश्वसनीयता
Failure taxonomy
श्रेणियों का एक सुसंगत सेट जिसका उपयोग प्रॉम्प्ट विफलताओं को लेबल करने और उनका विश्लेषण करने के लिए किया जाता है।
बड़े मूल्यांकन से पहले इसे परिभाषित करें ताकि टीमें विफलताओं की गणना करने के बजाय कारणों को प्राथमिकता दे सकें।
लेबल: छूटी हुई जानकारी, अस्वीकृत दावा, स्कीमा त्रुटि, गलत उपकरण, असुरक्षित प्रकटीकरण, अत्यधिक विलंबता।मूल्यांकन
Acceptance threshold
एक पूर्व-घोषित स्कोर या नियम जिसे किसी प्रॉम्प्ट संस्करण को जारी करने से पहले पूरा करना होगा।
जोखिम के आधार पर सीमाएँ निर्धारित करें और केवल औसत पर निर्भर रहने के बजाय, "ज़रूरी नहीं कि विफल हो" वाले मामलों को शामिल करें।
केवल तभी जारी करें जब आवश्यक-क्षेत्र सटीकता कम से कम 98% हो और कोई भी महत्वपूर्ण गोपनीयता मामला विफल न हो।मूल्यांकन
Model and parameter matrix
एक नियोजित ग्रिड जो मॉडल संस्करणों और अनुमान सेटिंग्स में संकेतों की तुलना करता है।
इसका उपयोग तब करें जब एक संकेत मॉडल माइग्रेशन या पैरामीटर परिवर्तन के बाद अलग तरह से व्यवहार कर सकता है।
दो समर्थित तापमान सेटिंग्स पर मॉडल A और B पर प्रॉम्प्ट v8 का मूल्यांकन करें।दक्षता
Quality, latency, and cost comparison
प्रत्येक उम्मीदवार के लिए कार्य गुणवत्ता, प्रतिक्रिया समय और संसाधन उपयोग का एक संयुक्त दृश्य।
इसका उपयोग थोड़े बेहतर प्रॉम्प्ट का चयन करने से बचने के लिए करें जो अपने कार्यभार के लिए बहुत धीमा या महंगा है।
पास दर, p95 विलंबता, इनपुट टोकन, आउटपुट टोकन और प्रति सफल कार्य अनुमानित लागत की तुलना करें।दक्षता
Prompt optimization loop
लक्ष्यों को परिभाषित करने, एक बेसलाइन का परीक्षण करने, विफलताओं का विश्लेषण करने, प्रॉम्प्ट को बदलने और पुन: परीक्षण करने का एक पुनरावृत्त चक्र।
छोटे, साक्ष्य-आधारित परिवर्तनों का उपयोग करें और प्रत्येक पुनरावृत्ति पर संस्करणित परिणाम बनाए रखें।
Define metric -> run baseline -> label failures -> change one component -> rerun -> review regressions.| चरण | आवश्यक प्रमाण |
|---|---|
| लक्ष्य को परिभाषित करें | उपयोगकर्ता परिणाम, गुणवत्ता मानदंड, जोखिम, विलंबता और लागत सीमाएँ। |
| बेसलाइन स्थापित करें | संस्करण, स्वीकृत, मॉडल, सेटिंग्स, डेटासेट और प्रति-मामला परिणाम। |
| परिवर्तन का परीक्षण करें | नियंत्रित संस्करण, आवश्यकतानुसार दोहराए गए रन, और विफलता लेबल |
| जारी करें या अस्वीकार करें | स्वीकृति सीमाएँ, प्रतिगमन समीक्षा, मानवीय अनुमोदन, और रोलबैक योजना |
कुछ उदाहरण सामान्य विफलताओं, एज केस, भिन्नता और प्रतिगमन को याद कर सकते हैं। निष्कर्ष निकालने से पहले प्रतिनिधि मामलों, स्थिर स्कोरिंग नियमों, प्रति-मामला समीक्षा और बैच परिणामों का उपयोग करें।
नहीं। ऐसे मेट्रिक्स चुनें जो कार्य को दर्शाते हों, जिसमें आवश्यक तथ्य, ग्राउंडेडनेस, प्रारूप वैधता, सुरक्षा, मजबूती, विलंबता, टोकन उपयोग, लागत और मानव सुधार प्रयास शामिल हैं।
कारण निदान के लिए, एक समय में एक मुख्य कारक बदलें। व्यापक उम्मीदवार तुलना कई घटकों को बदल सकती है, लेकिन यह दिखाता है कि कौन सा पूर्ण उम्मीदवार बेहतर है, न कि कौन सा घटक अंतर का कारण है।
आधिकारिक मार्गदर्शन जो प्रॉम्प्ट इंजीनियरिंग को एक परीक्षण-संचालित, पुनरावृत्त कार्यप्रवाह के रूप में वर्णित करता है, जिसमें परिभाषित उद्देश्य और व्यवस्थित मूल्यांकन शामिल हैं।
आधिकारिक गाइड जो प्रतिनिधि डेटा पर नियंत्रित प्रॉम्प्ट वेरिएंट का परीक्षण करने और मापने योग्य परिणामों की तुलना करने के बारे में है।
स्पष्ट निर्देशों, उदाहरणों, बाधाओं, आउटपुट स्कीमा और विघटित वर्कफ़्लो के साथ शुरू करें।
प्रॉम्प्ट-विशिष्ट प्रयोगों को व्यापक सिस्टम गुणवत्ता, मानव समीक्षा, बेंचमार्क और परिचालन मेट्रिक्स से कनेक्ट करें।
संस्करण परीक्षण किए गए उम्मीदवारों और केवल स्वीकृत अपरिवर्तनीय संशोधन को बढ़ावा दें।
परीक्षण रणनीति में प्रॉम्प्ट इंजेक्शन, गोपनीयता, हानिकारक सामग्री, निष्पक्षता और रेड-टीम मामलों को शामिल करें।