Datenanalyse
Verstehen Sie Merkmale, Ziele, Lernmethoden, Datenteilungen, Pipelines, Anpassungsprobleme, Kreuzvalidierung, Metriken und Risiken von Datenlecks.
12 Begriffe
Modelldaten
Feature
Eine Eingabevariable, die ein Modell verwendet, um eine Vorhersage zu treffen oder ein Muster zu erkennen.
Wählen Sie Funktionen, die zum Zeitpunkt der Vorhersage verfügbar sind und für die Aufgabe relevant sind.
Funktionen: tenure_days, order_count_90d, support_ticket_count.Modelldaten
Target
Das Ergebnis oder die Kennzeichnung, das/die ein überwachtes Modell vorhersagen soll.
Definieren Sie dies mit einem klaren Beobachtungszeitraum und einer geschäftlichen Bedeutung.
Ziel: Ob der Kunde innerhalb der nächsten 30 Tage abwandert.Lernmethoden
Supervised learning
Lernen einer Zuordnung von Eingaben zu bekannten Zielwerten mithilfe von beschrifteten Beispielen.
Verwenden Sie es für die Klassifizierung oder Regression, wenn historische Labels verfügbar sind.
Trainieren Sie einen Klassifikator mit vergangenen Transaktionen, die als Betrug oder Nicht-Betrug gekennzeichnet sind.Lernmethoden
Unsupervised learning
Finden von Strukturen in Daten ohne ein vorgegebenes Ziel-Label.
Verwenden Sie es für Clustering, Dimensionsreduktion oder die Analyse von Anomalien.
Cluster gruppieren Geschäfte nach Verkaufsstruktur und Kundenverhalten.Validierung
Train-test split
Trennung der Daten, die zum Anpassen eines Modells verwendet werden, von den Daten, die für die endgültige Bewertung reserviert sind.
Verwenden Sie eine zeit- oder gruppenabhängige Aufteilung, wenn eine zufällige Aufteilung Informationen preisgeben würde.
Trainieren Sie im Januar bis Oktober, validieren Sie im November und testen Sie im Dezember.Arbeitsablauf
Preprocessing pipeline
Eine geordnete, wiederverwendbare Sequenz von Transformations- und Modellanpassungsschritten.
Vorverarbeitung nur auf den Trainingsdaten durchführen und die gleichen Schritte während der Vorhersage anwenden.
impute -> standardize -> one-hot encode -> fit modelLernmethoden
Model
Eine gelernte mathematische oder rechnerische Darstellung, die zur Vorhersage oder Entscheidungsfindung verwendet wird.
Vergleichen Sie eine einfache Baseline mit komplexeren Kandidaten unter Verwendung des gleichen Bewertungsprotokolls.
Baseline: logistische Regression; Kandidat: Gradient Boosting.Validierung
Overfitting
Wenn ein Modell trainingsspezifisches Rauschen lernt und schlecht auf unbekannten Daten abschneidet.
Erkennen Sie dies mit einer separaten Evaluationsmenge und reduzieren Sie es mit einfacheren Modellen, Regularisierung oder repräsentativeren Daten.
Eine Trainingsgenauigkeit von 99 % und eine Validierungsgenauigkeit von 71 % deuten auf eine Überanpassung hin.Validierung
Underfitting
Wenn ein Modell zu eingeschränkt ist, um wichtige Muster in den Daten zu erfassen.
Überprüfen Sie, ob sowohl die Trainings- als auch die Validierungsleistung schlecht sind.
Informative Funktionen oder ein geeigneteres Modell hinzufügen, wenn beide Fehler weiterhin hoch sind.Validierung
Cross-validation
Wiederholtes Aufteilen der Daten in Trainings- und Validierungsdatensätze, um die Modellleistung abzuschätzen.
Verwenden Sie einen geeigneten Splitter für Klassenbalance, Gruppen oder Zeitreihen.
Führen Sie eine 5-fache stratifizierte Kreuzvalidierung für eine unausgeglichene Klassifizierungsaufgabe durch.Validierung
Evaluation metric
Eine numerische Messgröße, die zur Beurteilung der Vorhersagequalität verwendet wird.
Wählen Sie Metriken entsprechend den Fehlerraten und der Klassenbalance, nicht nur aus Bequemlichkeit.
Verfolgen Sie Präzision und Rückruf, wenn falsch positive und falsch negative Ergebnisse unterschiedliche Kosten haben.Risiken
Data leakage
Wenn das Training Informationen verwendet, die zum Zeitpunkt der tatsächlichen Vorhersage nicht verfügbar wären.
Überprüfen Sie Funktionen, Timing, Vorverarbeitung und Aggregationsfenster, bevor Sie Ergebnisse vertrauen.
Datenlecks können zu hervorragenden Offline-Ergebnissen führen, während die Produktionsleistung schlecht ist.
Verwenden Sie den endgültigen Rückerstattungsstatus nicht, um vorherzusagen, ob eine Bestellung erstattet wird.