डेटा विश्लेषण
विश्वसनीय डेटा तैयार करने के लिए उपयोग किए जाने वाले स्रोत, पाइपलाइन, स्कीमा, लापता-डेटा, गुणवत्ता, स्केलिंग, एन्कोडिंग और सत्यापन शब्दों के बारे में जानें।
12 शब्द
संग्रह और पाइपलाइन
Data source
वह प्रणाली, फ़ाइल, सेंसर, सर्वेक्षण या सेवा जिससे डेटा उत्पन्न होता है।
स्वामित्व, अपडेट आवृत्ति, एक्सेस विधि और ज्ञात सीमाओं को रिकॉर्ड करें।
Source: production orders database, refreshed every hour.संग्रह और पाइपलाइन
ETL
निकालें, रूपांतरित करें और लोड करें: एक पाइपलाइन जो डेटा को एक लक्ष्य प्रणाली के लिए ले जाती है और तैयार करती है।
इसका उपयोग गोदामों, मार्टों या एनालिटिक्स सिस्टम में बार-बार डेटा आयात के लिए करें।
Extract orders -> standardize currency -> load analytics.ordersसंरचना
Schema
डेटा फ़ील्ड, प्रकार, संबंध और प्रतिबंधों की परिभाषा।
इसका उपयोग आने वाले डेटा को मान्य करने और उत्पादकों और उपभोक्ताओं का समन्वय करने के लिए करें।
order_id: स्ट्रिंग, ordered_at: टाइमस्टैम्प, `amount`: डेसिमलसंरचना
Data type
एक वर्गीकरण जो यह निर्धारित करता है कि एक मान कैसे संग्रहीत और व्याख्या किया जाता है।
सॉर्टिंग, अंकगणित, फ़िल्टरिंग और दिनांक संचालन से पहले सही प्रकार सेट करें।
ordered_at को पाठ से टाइमस्टैम्प में बदलें।डेटा गुणवत्ता
Missing value
एक मान जो अनुपस्थित, अज्ञात, या लागू नहीं है।
कॉलम द्वारा गुम मानों को मापें और जांचें कि उपचार से पहले यह क्यों होता है।
missing_rate = isna(customer_age).mean()डेटा गुणवत्ता
Imputation
गुम मानों को अनुमानित या नियम-आधारित मानों से बदलना।
इसका उपयोग तब करें जब हटाने से डेटा बर्बाद हो जाएगा और प्रतिस्थापन धारणाएं उचित हैं।
अनुमान वितरण और अनिश्चितता को विकृत कर सकता है; विधि का दस्तावेजीकरण करें और उपयोगी होने पर एक गुम होने का संकेतक बनाए रखें।
प्रत्येक store_type के भीतर माध्यिका के साथ गुम store_size को भरें।डेटा गुणवत्ता
Duplicate record
एक दोहराई जाने वाली पंक्ति या इकाई जो एक ही अंतर्निहित घटना या वस्तु का प्रतिनिधित्व करती है।
डुप्लिकेट हटाने से पहले, एक व्यवसाय कुंजी और प्रतिधारण नियम परिभाषित करें।
updated_at के आधार पर सॉर्ट करने के बाद प्रत्येक order_id के लिए नवीनतम पंक्ति को बनाए रखें।डेटा गुणवत्ता
Outlier
एक अवलोकन जो मुख्य डेटा पैटर्न से असामान्य रूप से दूर है।
जांचें कि क्या यह एक त्रुटि है, एक मान्य दुर्लभ घटना है, या एक संकेत है जिसे अलग उपचार की आवश्यकता है।
स्वचालित रूप से हटाने के बजाय, 99.9वें प्रतिशत से ऊपर के लेनदेन की समीक्षा करें।परिवर्तन
Normalization
मानों को एक सीमित सीमा में बदलना, आमतौर पर 0 से 1 तक।
इसका उपयोग तब करें जब एल्गोरिदम या तुलना सुविधा पैमाने के प्रति संवेदनशील होते हैं।
x_scaled = (x - min(x)) / (max(x) - min(x))परिवर्तन
Standardization
मानों को केंद्रित और स्केल करना, आमतौर पर माध्य 0 और मानक विचलन 1 पर।
इसका उपयोग उन मॉडलों के लिए करें जो विभिन्न इकाइयों के साथ सुविधाओं की तुलना या संयोजन करते हैं।
z = (x - mean(x)) / std(x)परिवर्तन
Categorical encoding
श्रेणीगत लेबल को एक प्रतिनिधित्व में बदलना जिसे एक एल्गोरिदम संसाधित कर सके।
अर्थ और मॉडल के व्यवहार के आधार पर, वन-हॉट, ऑर्डरिनल, टारगेट या सीखे गए एन्कोडिंग का चयन करें।
चैनल को channel_web, channel_store, channel_partner में वन-हॉट एन्कोड करें।डेटा गुणवत्ता
Data validation
स्वचालित या मैन्युअल जांच जो डेटा अपेक्षित नियमों और बाधाओं को पूरा करता है।
गुणवत्ता में गिरावट का जल्दी पता लगाने के लिए इसे पाइपलाइन सीमाओं पर चलाएं।
यह दावा करें कि order_id अद्वितीय है, amount >= 0 है, और मुद्रा मान्य है।