डेटा विश्लेषण
सुविधाओं, लक्ष्यों, शिक्षण विधियों, डेटा विभाजन, पाइपलाइनों, फिट समस्याओं, क्रॉस-वैलिडेशन, मेट्रिक्स और रिसाव जोखिमों को समझें।
12 शब्द
मॉडल डेटा
Feature
एक इनपुट वेरिएबल जिसका उपयोग मॉडल द्वारा भविष्यवाणी करने या पैटर्न खोजने के लिए किया जाता है।
ऐसे सुविधाएँ चुनें जो भविष्यवाणी के समय उपलब्ध हों और कार्य के लिए प्रासंगिक हों।
विशेषताएं: tenure_days, order_count_90d, support_ticket_count.मॉडल डेटा
Target
वह परिणाम या लेबल जिसके लिए एक पर्यवेक्षित मॉडल को प्रशिक्षित किया जाता है।
इसे एक स्पष्ट अवलोकन विंडो और व्यावसायिक अर्थ के साथ परिभाषित करें।
लक्ष्य: क्या ग्राहक अगले 30 दिनों में कंपनी छोड़ देगा।सीखने की विधियाँ
Supervised learning
लेबल किए गए उदाहरणों का उपयोग करके इनपुट से ज्ञात लक्ष्य मानों तक का मैपिंग सीखना।
इसका उपयोग वर्गीकरण या प्रतिगमन के लिए करें जब ऐतिहासिक लेबल उपलब्ध हों।
धोखाधड़ी या गैर-धोखाधड़ी के रूप में लेबल किए गए पिछले लेनदेन का उपयोग करके एक क्लासिफायर को प्रशिक्षित करें।सीखने की विधियाँ
Unsupervised learning
आपूर्ति किए गए लक्ष्य लेबल के बिना डेटा में संरचना खोजना।
इसका उपयोग क्लस्टरिंग, आयामीता में कमी या विसंगति विश्लेषण के लिए करें।
क्लस्टर बिक्री मिश्रण और ग्राहक व्यवहार के आधार पर स्टोर को संग्रहीत करता है।सत्यापन
Train-test split
एक मॉडल को फिट करने के लिए उपयोग किए जाने वाले डेटा को अंतिम मूल्यांकन के लिए आरक्षित डेटा से अलग करना।
समय-जागरूक या समूह-जागरूक विभाजन का उपयोग करें जब यादृच्छिक विभाजन से जानकारी लीक हो सकती है।
जनवरी-अक्टूबर में प्रशिक्षित करें, नवंबर में मान्य करें, दिसंबर में परीक्षण करें।वर्कफ़्लो
Preprocessing pipeline
परिवर्तनों और मॉडल फिटिंग चरणों का एक क्रमित, पुन: प्रयोज्य अनुक्रम।
केवल प्रशिक्षण डेटा पर प्रीप्रोसेसिंग करें और भविष्यवाणी के दौरान भी उन्हीं चरणों का उपयोग करें।
impute -> standardize -> one-hot encode -> fit modelसीखने की विधियाँ
Model
एक सीखा हुआ गणितीय या कम्प्यूटेशनल प्रतिनिधित्व जिसका उपयोग भविष्यवाणियां या निर्णय लेने के लिए किया जाता है।
एक साधारण बेसलाइन की तुलना समान मूल्यांकन प्रोटोकॉल के तहत अधिक जटिल उम्मीदवारों से करें।
बेसलाइन: लॉजिस्टिक रिग्रेशन; उम्मीदवार: ग्रेडिएंट बूस्टिंग।सत्यापन
Overfitting
जब कोई मॉडल प्रशिक्षण-विशिष्ट शोर सीखता है और अनदेखे डेटा पर खराब प्रदर्शन करता है।
इसे होल्ड-आउट मूल्यांकन के साथ पता लगाएं और सरल मॉडल, नियमितीकरण, या अधिक प्रतिनिधि डेटा के साथ इसे कम करें।
99% प्रशिक्षण सटीकता, 71% सत्यापन सटीकता ओवरफिटिंग का सुझाव देती है।सत्यापन
Underfitting
जब कोई मॉडल डेटा में महत्वपूर्ण पैटर्न को कैप्चर करने के लिए बहुत सीमित होता है।
जाँच करें कि क्या प्रशिक्षण और सत्यापन प्रदर्शन दोनों खराब हैं।
यदि दोनों त्रुटियां बनी रहती हैं तो अधिक जानकारीपूर्ण सुविधाएँ या एक अधिक उपयुक्त मॉडल जोड़ें।सत्यापन
Cross-validation
मॉडल प्रदर्शन का अनुमान लगाने के लिए डेटा को बार-बार प्रशिक्षण और सत्यापन फ़ोल्ड में विभाजित करना।
वर्ग संतुलन, समूहों या समय क्रम के लिए एक उपयुक्त विभाजक का उपयोग करें।
असंतुलित वर्गीकरण कार्य के लिए 5-गुना स्तरीकृत क्रॉस-सत्यापन चलाएं।सत्यापन
Evaluation metric
एक संख्यात्मक माप जिसका उपयोग भविष्यवाणी की गुणवत्ता का मूल्यांकन करने के लिए किया जाता है।
त्रुटि लागतों और वर्ग संतुलन के अनुसार मेट्रिक्स चुनें, न कि केवल सुविधा के लिए।
गलत सकारात्मक और गलत नकारात्मक के अलग-अलग लागत होने पर परिशुद्धता और रिकॉल को ट्रैक करें।जोखिम
Data leakage
जब प्रशिक्षण में ऐसी जानकारी का उपयोग किया जाता है जो वास्तविक भविष्यवाणी समय पर उपलब्ध नहीं होगी।
परिणामों पर भरोसा करने से पहले ऑडिट सुविधाएँ, स्प्लिट टाइमिंग, प्रीप्रोसेसिंग और एकत्रीकरण विंडो।
'लीकेज' के कारण ऑफ़लाइन स्कोर बहुत अच्छे दिख सकते हैं, जबकि वास्तविक उत्पादन प्रदर्शन विफल हो सकता है।
यह अनुमान लगाने के लिए अंतिम रिफंड स्थिति का उपयोग न करें कि क्या किसी ऑर्डर को रिफंड किया जाएगा।