जनरेटिव AI इंजीनियरिंग
जिम्मेदार AI संचालन के लिए आवश्यक विश्वसनीयता, हमला, गोपनीयता, मध्यस्थता, निष्पक्षता, गार्डरेल और रेड-टीम शब्दों के बारे में जानें।
12 शब्द
विश्वसनीयता
Hallucination (confabulation)
एक संभावित ध्वनि वाला आउटपुट जो उपलब्ध साक्ष्य द्वारा समर्थित नहीं है या तथ्यात्मक रूप से गलत है।
इसे एक जोखिम के रूप में मानें जिसे ग्राउंडिंग, सत्यापन, मूल्यांकन और उपयोगकर्ता प्रकटीकरण के माध्यम से प्रबंधित किया जाना चाहिए।
प्रकाशन से पहले नामों, तिथियों, संख्याओं और उद्धरणों को आधिकारिक स्रोतों के विरुद्ध सत्यापित करें।हमले
Prompt injection
मॉडल को हेरफेर करने का एक प्रयास जो एप्लिकेशन के इच्छित नियमों के साथ संघर्ष करने वाले निर्देशों का उपयोग करता है।
अविश्वसनीय सामग्री को निर्देशों से अलग करें और मॉडल के बाहर अनुमतियों को लागू करें।
वेबपेज पाठ को डेटा के रूप में मानें, न कि टूल को कॉल करने के लिए प्राधिकरण के रूप में।हमले
Indirect prompt injection
AI सिस्टम द्वारा पढ़े या पुनर्प्राप्त किए गए बाहरी सामग्री में छिपे हुए दुर्भावनापूर्ण निर्देश।
एजेंटों को खिलाने वाले दस्तावेज़, ईमेल, वेबपेज और टूल-परिणाम पाइपलाइनों की रक्षा करें।
पुनः प्राप्त किए गए दस्तावेज़ों में एम्बेडेड निर्देशों को अनदेखा करें और उन्हें अविश्वसनीय सामग्री के रूप में प्रदर्शित करें।हमले
Jailbreak
एक प्रॉम्प्ट रणनीति जिसका उद्देश्य मॉडल या एप्लिकेशन की सुरक्षा प्रतिबंधों को दरकिनार करना है।
इसका उपयोग लेयर्ड सुरक्षा, निगरानी, रेड-टीम परीक्षण और न्यूनतम-विशेषाधिकार उपकरणों का उपयोग करें।
मॉडल में हेरफेर किया गया हो, भले ही, टूल प्राधिकरण स्तर पर खतरनाक कार्यों को ब्लॉक करें।गोपनीयता
Personally identifiable information (PII)
वह जानकारी जो सीधे या अप्रत्यक्ष रूप से किसी व्यक्ति की पहचान करती है।
AI के साथ संसाधित करने से पहले, उसका पता लगाएं, कम करें, हटाएं, या उचित प्राधिकरण प्राप्त करें।
मूल्यांकन डेटासेट में ग्राहक नामों और खाता संख्याओं को प्लेसहोल्डर से बदलें।गोपनीयता
Data retention
ऐसे नियमों का समूह जो यह निर्धारित करता है कि इनपुट, आउटपुट, लॉग और व्युत्पन्न डेटा कितने समय तक संग्रहीत किए जाते हैं।
उत्पादन उपयोग से पहले इसे परिभाषित करें और इसे उद्देश्य, कानून, अनुबंधों और हटाने की आवश्यकताओं के साथ संरेखित करें।
गुमनाम एकत्रित मेट्रिक्स को बनाए रखते हुए, 30 दिनों के बाद कच्चे प्रॉम्प्ट को हटा दें।गोपनीयता
Data residency
भौगोलिक स्थान जहां डेटा संग्रहीत या संसाधित किया जाता है।
जब कानून, अनुबंध या संगठनात्मक नीति डेटा स्थान को प्रतिबंधित करते हैं, तो इसकी जाँच करें।
केवल क्षेत्रीय ग्राहक डेटा को स्वीकृत इन-क्षेत्र सेवाओं पर रूट करें।नियंत्रण
Guardrail
एक तकनीकी या प्रक्रियात्मक नियंत्रण जो AI के व्यवहार को सीमित करता है, जांचता है, या पुनर्निर्देशित करता है।
इनपुट जांच, आउटपुट सत्यापन, अनुमतियां, निगरानी और मानव समीक्षा को मिलाएं।
निष्पादन से पहले अनुमति सूची के विरुद्ध उत्पन्न SQL को मान्य करें।नियंत्रण
Content moderation
सुरक्षा या प्लेटफ़ॉर्म नीतियों का उल्लंघन करने वाली सामग्री का पता लगाना और उसे संभालना।
इसे इनपुट और आउटपुट पर लागू करें, जो जोखिम के स्तर के अनुरूप हों।
उच्च जोखिम वाली सामग्री को समीक्षा के लिए चिह्नित करें और उपयुक्त होने पर एक सुरक्षित विकल्प प्रदान करें।पूर्वाग्रह और निष्पक्षता
Bias
एक व्यवस्थित प्रवृत्ति जो तिरछे या अनुचित परिणाम उत्पन्न कर सकती है।
इसे प्रासंगिक समूहों, भाषाओं, संदर्भों और विफलता लागतों में मापें।
समर्थित भाषाओं में गलत अस्वीकृति दरों की तुलना करें।पूर्वाग्रह और निष्पक्षता
Fairness
लक्ष्य और मानदंड जिसका उपयोग यह आकलन करने के लिए किया जाता है कि लाभ, त्रुटियां और उपचार उचित रूप से वितरित हैं या नहीं।
इसे विशिष्ट उपयोग के मामले के लिए परिभाषित करें क्योंकि विभिन्न निष्पक्षता उपाय संघर्ष कर सकते हैं।
दस्तावेज़ करें कि कौन सा निष्पक्षता मीट्रिक हायरिंग-असिस्टेंस वर्कफ़्लो पर लागू होता है और क्यों।आश्वासन
AI red teaming
संरचित प्रतिकूल परीक्षण जो हानिकारक विफलताओं, दुरुपयोग पथों और कमजोर नियंत्रणों की खोज करता है।
लॉन्च करने से पहले और सार्थक परिवर्तनों के बाद, यथार्थवादी खतरे के परिदृश्यों का उपयोग करके इसे चलाएं।
प्रॉम्प्ट इंजेक्शन, डेटा लीक, असुरक्षित टूल क्रियाओं और बहुभाषी बाईपास प्रयासों का परीक्षण करें।