Analyse de données
Apprenez les termes de source, de pipeline, de schéma, de données manquantes, de qualité, d'évolutivité, d'encodage et de validation utilisés pour préparer des données fiables.
12 termes
Collecte et pipelines
Data source
Le système, le fichier, le capteur, l'enquête ou le service à partir duquel proviennent les données.
Enregistrer le propriétaire, la fréquence de mise à jour, la méthode d'accès et les limitations connues.
Source: production orders database, refreshed every hour.Collecte et pipelines
ETL
Extraire, transformer et charger : un pipeline qui déplace et prépare les données pour un système cible.
Utilisez-le pour l'ingestion répétée dans les entrepôts, les marts ou les systèmes d'analyse.
Extract orders -> standardize currency -> load analytics.ordersStructure
Schema
Une définition des champs de données, des types, des relations et des contraintes.
Utilisez-le pour valider les données entrantes et coordonner les producteurs et les consommateurs.
order_id : chaîne de caractères, ordered_at : horodatage, amount : décimalStructure
Data type
Une classification qui détermine comment une valeur est stockée et interprétée.
Définissez les types corrects avant le tri, les opérations arithmétiques, le filtrage et les opérations de date.
Convertir ordered_at du texte en horodatage.Qualité des données
Missing value
Une valeur qui est absente, inconnue ou non applicable.
Mesurer les valeurs manquantes par colonne et étudier les raisons de leur apparition avant de les traiter.
missing_rate = isna(customer_age).mean()Qualité des données
Imputation
Remplacer les valeurs manquantes par des valeurs estimées ou basées sur des règles.
Utilisez-le lorsque la suppression entraînerait une perte de données et que les hypothèses de remplacement sont justifiées.
L'imputation peut fausser les distributions et l'incertitude ; documentez la méthode et conservez un indicateur de valeurs manquantes lorsque cela est utile.
Remplir store_size manquant avec la médiane au sein de chaque store_type.Qualité des données
Duplicate record
Une ligne ou une entité répétée qui représente le même événement ou objet sous-jacent.
Définissez une clé métier et une règle de conservation avant de supprimer les doublons.
Conservez la dernière ligne pour chaque order_id après le tri par updated_at.Qualité des données
Outlier
Une observation qui est inhabituellement éloignée du motif principal des données.
Vérifiez s'il s'agit d'une erreur, d'un événement rare valide ou d'un signal nécessitant un traitement distinct.
Examiner les transactions supérieures au 99,9e centile au lieu de les supprimer automatiquement.Transformation
Normalization
Redimensionner les valeurs à une plage bornée, généralement de 0 à 1.
Utilisez-le lorsque les algorithmes ou les comparaisons sont sensibles à l'échelle des caractéristiques.
x_scaled = (x - min(x)) / (max(x) - min(x))Transformation
Standardization
Valeurs de centrage et d'échelle, généralement à la moyenne 0 et à l'écart type 1.
Utilisez-le pour les modèles qui comparent ou combinent des caractéristiques avec des unités différentes.
z = (x - mean(x)) / std(x)Transformation
Categorical encoding
Conversion des étiquettes catégorielles en une représentation qu'un algorithme peut traiter.
Choisissez un encodage one-hot, ordinal, cible ou appris en fonction du sens et du comportement du modèle.
Encoder en one-hot le canal en channel_web, channel_store, channel_partner.Qualité des données
Data validation
Vérifications automatisées ou manuelles qui garantissent que les données satisfont aux règles et contraintes attendues.
L'exécuter aux limites du pipeline pour détecter rapidement les régressions de qualité.
Affirmez que order_id est unique, que amount >= 0 et que la devise est autorisée.