Datenanalyse
Lernen Sie die Begriffe Quelle, Pipeline, Schema, fehlende Daten, Qualität, Skalierung, Kodierung und Validierung, die zur Vorbereitung zuverlässiger Daten verwendet werden.
12 Begriffe
Sammlung und Pipelines
Data source
Das System, die Datei, der Sensor, die Umfrage oder der Dienst, von dem die Daten stammen.
Speichern Sie Eigentümer, Aktualisierungsfrequenz, Zugriffsmethode und bekannte Einschränkungen.
Source: production orders database, refreshed every hour.Sammlung und Pipelines
ETL
Extrahieren, transformieren und laden: eine Pipeline, die Daten für ein Zielsystem verschiebt und vorbereitet.
Verwenden Sie es für die wiederholte Eingabe in Data Warehouses, Data Marts oder Analyse-Systeme.
Extract orders -> standardize currency -> load analytics.ordersStruktur
Schema
Eine Definition von Datenfeldern, -typen, -beziehungen und -einschränkungen.
Verwenden Sie es, um eingehende Daten zu validieren und Produzenten und Konsumenten zu koordinieren.
order_id: Zeichenkette, ordered_at: Zeitstempel, amount: DezimalzahlStruktur
Data type
Eine Klassifizierung, die bestimmt, wie ein Wert gespeichert und interpretiert wird.
Legen Sie die richtigen Datentypen fest, bevor Sie sortieren, arithmetische Operationen durchführen, filtern oder Datumsoperationen ausführen.
Konvertieren Sie "ordered_at" von Text in einen Zeitstempel.Datenqualität
Missing value
Ein Wert, der fehlt, unbekannt oder nicht anwendbar ist.
Fehlende Werte pro Spalte messen und untersuchen, warum sie auftreten, bevor Maßnahmen ergriffen werden.
missing_rate = isna(customer_age).mean()Datenqualität
Imputation
Ersetzen fehlender Werte durch geschätzte oder regelbasierte Werte.
Verwenden Sie es, wenn das Löschen Daten verschwendet und die Annahmen für den Ersatz stichhaltig sind.
Die Imputation kann Verteilungen und Unsicherheiten verzerren; dokumentieren Sie die Methode und bewahren Sie einen fehlenden Wert-Indikator auf, wenn dies nützlich ist.
Fehlende Werte für store_size mit dem Median innerhalb jedes store_type auffüllen.Datenqualität
Duplicate record
Eine wiederholte Zeile oder Entität, die dasselbe zugrunde liegende Ereignis oder Objekt darstellt.
Definieren Sie einen Geschäftsschlüssel und eine Aufbewahrungsregel, bevor Sie Duplikate entfernen.
Behalten Sie für jede `order_id` die letzte Zeile nach der Sortierung nach `updated_at`.Datenqualität
Outlier
Eine Beobachtung, die ungewöhnlich weit von dem Hauptdatensatzmuster entfernt ist.
Untersuchen Sie, ob es sich um einen Fehler, ein gültiges seltenes Ereignis oder ein Signal handelt, das eine separate Behandlung erfordert.
Überprüfen Sie Transaktionen oberhalb des 99,9-Prozentils, anstatt sie automatisch zu löschen.Transformation
Normalization
Skalieren Sie Werte auf einen begrenzten Bereich, üblicherweise von 0 bis 1.
Verwenden Sie es, wenn Algorithmen oder Vergleiche empfindlich auf die Feature-Skalierung reagieren.
x_scaled = (x - min(x)) / (max(x) - min(x))Transformation
Standardization
Zentrierung und Skalierung von Werten, üblicherweise auf Mittelwert 0 und Standardabweichung 1.
Verwenden Sie es für Modelle, die Merkmale mit unterschiedlichen Einheiten vergleichen oder kombinieren.
z = (x - mean(x)) / std(x)Transformation
Categorical encoding
Konvertierung von kategorischen Labels in eine Darstellung, die ein Algorithmus verarbeiten kann.
Wählen Sie eine One-Hot-, Ordinal-, Ziel- oder gelernte Codierung basierend auf der Bedeutung und dem Modellverhalten.
Kanal als One-Hot-Encoding in `channel_web`, `channel_store` und `channel_partner` umwandeln.Datenqualität
Data validation
Automatische oder manuelle Prüfungen, die sicherstellen, dass die Daten den erwarteten Regeln und Einschränkungen entsprechen.
Führen Sie es an den Pipeline-Grenzen aus, um Qualitätsrückgänge frühzeitig zu erkennen.
Stellen Sie sicher, dass order_id eindeutig ist, amount >= 0 und currency zulässig ist.