जनरेटिव AI इंजीनियरिंग
AI की गुणवत्ता को सत्यापित करने के लिए डेटासेट, मानदंड, मानव और मॉडल-आधारित निर्णय, प्रतिगमन परीक्षण और दक्षता मेट्रिक्स को समझें।
12 शब्द
मूल्यांकन डेटा
Ground truth
एक विश्वसनीय लक्ष्य उत्तर या लेबल जिसका उपयोग तुलना के लिए संदर्भ के रूप में किया जाता है।
इसका उपयोग उन कार्यों के लिए करें जहां सही आउटपुट को मज़बूती से परिभाषित किया जा सकता है।
निकाले गए चालान योगों की तुलना मानव-सत्यापित ग्राउंड ट्रुथ मूल्यों से करें।मूल्यांकन डेटा
Evaluation dataset
मामलों का एक क्यूरेटेड सेट जिसका उपयोग मॉडल या एप्लिकेशन के व्यवहार को मापने के लिए किया जाता है।
वास्तविक उपयोग से सामान्य, कठिन, बहुभाषी और सुरक्षा-महत्वपूर्ण मामलों को शामिल करें।
200 गुमनाम सहायता प्रश्नों का एक निश्चित मूल्यांकन डेटासेट बनाएं।मूल्यांकन डेटा
Benchmark
एक मानकीकृत कार्य या डेटासेट जिसका उपयोग साझा परिस्थितियों में प्रणालियों की तुलना करने के लिए किया जाता है।
इसका उपयोग दिशात्मक तुलना के लिए करें, फिर अपने स्वयं के डोमेन मामलों के साथ इसकी पुष्टि करें।
एक सार्वजनिक बेंचमार्क और आंतरिक मूल्यांकन सेट पर उम्मीदवार मॉडलों की तुलना करें।मानदंड
Metric
एक चुनी हुई गुणवत्ता, सुरक्षा, गति, या लागत संपत्ति का संख्यात्मक माप।
ऐसे मेट्रिक्स चुनें जो सीधे उपयोगकर्ता और व्यावसायिक आवश्यकताओं से मेल खाते हों।
उत्तर की शुद्धता, उद्धरण की सटीकता, अस्वीकृति की गुणवत्ता, विलंबता और लागत को ट्रैक करें।मानदंड
Rubric
लिखित मानदंडों और स्कोरिंग स्तरों का एक सेट जिसका उपयोग आउटपुट का मूल्यांकन करने के लिए किया जाता है।
इसका उपयोग तब करें जब गुणवत्ता के लिए सूक्ष्म निर्णय की आवश्यकता होती है, न कि सटीक मिलान की।
1 से 5 तक तथ्यात्मक समर्थन को स्कोर करें, प्रत्येक स्तर के लिए साक्ष्य आवश्यकताओं के साथ।विधियाँ
Pointwise evaluation
किसी मानदंड या संदर्भ के खिलाफ एक आउटपुट को स्वतंत्र रूप से स्कोर करना।
इसका उपयोग पास/फेल चेक या पूर्ण गुणवत्ता स्कोर के लिए करें।
विकल्पों को देखे बिना, इस उत्तर को सटीकता और पूर्णता के लिए रेट करें।विधियाँ
Pairwise evaluation
समान इनपुट के लिए दो आउटपुट की तुलना करना और बेहतर एक का चयन करना।
इसका उपयोग तब करें जब सापेक्ष प्राथमिकता का आकलन एक पूर्ण स्कोर की तुलना में आसान है।
प्रतिक्रिया A और B को देखते हुए, चुनें कि कौन सा स्रोत साक्ष्य का बेहतर पालन करता है।विधियाँ
Human evaluation
मूल्यांकन लोगों द्वारा किया जाता है, अक्सर दिशानिर्देशों और लेबल किए गए उदाहरणों का उपयोग करके।
व्यक्तिपरक, उच्च-प्रभाव या संदर्भ-संवेदनशील गुणों के लिए प्रशिक्षित समीक्षकों का उपयोग करें।
दो डोमेन विशेषज्ञ चिकित्सा सारांश की निष्ठा की समीक्षा करते हैं और असहमति को हल करते हैं।विधियाँ
LLM-as-a-judge
अन्य मॉडल आउटपुट को ग्रेड करने, रैंक करने या आलोचना करने के लिए एक भाषा मॉडल का उपयोग करना।
इसका उपयोग मानव निर्णयों के खिलाफ कैलिब्रेट करने के बाद स्केलेबल मूल्यांकन के लिए करें।
न्यायाधीश मॉडल पक्षपाती या असंगत हो सकते हैं; प्रतिनिधि मानव-लेबल वाले मामलों के साथ उनका ऑडिट करें।
एक न्यायाधीश मॉडल से एक निश्चित मानदंड का उपयोग करके उद्धरण समर्थन का स्कोर प्राप्त करें।संचालन
Pass rate
मूल्यांकन मामलों का वह अनुपात जो एक परिभाषित स्वीकृति सीमा को पूरा करता है।
इसका उपयोग समय के साथ रिलीज़ गेट और गुणवत्ता परिवर्तनों को ट्रैक करने के लिए करें।
रिलीज से पहले महत्वपूर्ण नीति प्रश्नों पर कम से कम 95% पास दर की आवश्यकता है।संचालन
Regression test
एक दोहराया गया परीक्षण जो जांचता है कि क्या कोई परिवर्तन उस व्यवहार को तोड़ता है जो पहले काम कर रहा था।
मॉडल, प्रॉम्प्ट, पुनर्प्राप्ति, टूल या नीति परिवर्तनों के बाद इसे चलाएं।
सिस्टम निर्देश को अपडेट करने के बाद, फिक्स किए गए मूल्यांकन सूट को फिर से चलाएं।संचालन
Efficiency metrics
ऐसे माप जैसे प्रतिक्रिया विलंबता, टोकन उपयोग, थ्रूपुट और मौद्रिक लागत।
गुणवत्ता के साथ ही उनका मूल्यांकन करें ताकि सुधार पैमाने पर व्यावहारिक बने रहें।
केवल प्रति अनुरोध लागत के बजाय, p95 विलंबता और प्रति सफल कार्य लागत की तुलना करें।