收集和流程
資料來源
Data source
意思
資料來源的系統、檔案、感測器、調查或服務。
使用時機
記錄所有權、更新頻率、訪問方式以及已知的限制。
應用範例
Source: production orders database, refreshed every hour.資料分析
資料收集、清理與前處理術語
學習用於準備可靠數據的來源、管道、模式、缺失數據、質量、擴展、編碼和驗證術語。
12 個術語
收集和流程
ETL
ETL
意思
提取、轉換和載入：一個將數據移動並為目標系統準備的流程。
使用時機
適用於重複的數據匯入到倉庫、數據商城或分析系統。
應用範例
Extract orders -> standardize currency -> load analytics.orders結構
架構
Schema
意思
一個數據字段、類型、關係和約束的定義。
使用時機
運用它來驗證輸入數據，並協調生產者和消費者。
應用範例
order_id: 字串, ordered_at: 時間戳記, 金額: 小數。結構
資料類型
Data type
意思
一個分類，用於確定如何存儲和解釋一個值。
使用時機
在排序、算術、過濾和日期操作之前，設定正確的類型。
應用範例
將 ordered_at 從文本轉換為時間戳。資料品質
缺失值
Missing value
意思
一個缺失、未知或不適用於的值。
使用時機
透過欄測量缺失值，並在處理之前調查其原因。
應用範例
missing_rate = isna(customer_age).mean()資料品質
插補
Imputation
意思
使用估計值或基於規則的值來填補缺失值。
使用時機
在刪除會浪費資料且替換的假設是合理的時使用。
注意
插補可能會扭曲分佈和不確定性；記錄使用的方法，並在有用時保留缺失值的指示器。
應用範例
使用每個 store_type 中的中位數填寫缺失的 store_size 值。資料品質
重複記錄
Duplicate record
意思
一個重複的行或實體，表示相同的潛在事件或物件。
使用時機
在刪除重複項之前，定義業務關鍵和保留規則。
應用範例
對於每個 order_id，保持最新的行，並按 updated_at 排序。資料品質
異常值
Outlier
意思
一個與主要數據模式明顯不同的觀察值。
使用時機
檢查它是否是錯誤、一個有效的罕見事件，或者是一個需要單獨處理的信號。
應用範例
審查超過 99.9% 數值的交易，而不是自動刪除它們。轉換
正規化
Normalization
意思
將值重新調整到一個有界範圍內，通常是 0 到 1。
使用時機
在演算法或比較對特徵尺度敏感時使用。
應用範例
x_scaled = (x - min(x)) / (max(x) - min(x))轉換
標準化
Standardization
意思
居中和縮放值，通常為均值 0 和標準偏差 1。
使用時機
適用於比較或組合具有不同單位的特徵的模型。
應用範例
z = (x - mean(x)) / std(x)轉換
分類編碼
Categorical encoding
意思
將類別標籤轉換為演算法可以處理的表示形式。
使用時機
根據意義和模型行為，選擇 one-hot、ordinal、target 或 learned 編碼。
應用範例
將通道進行 one-hot 編碼，轉換為 channel_web、channel_store 和 channel_partner。資料品質
資料驗證
Data validation
意思
自動或手動檢查，以確保資料符合預期的規則和約束。
使用時機
在管道邊界處執行它，以盡早檢測品質回歸。
應用範例
聲明 order_id 必須是唯一的，amount >= 0，並且貨幣是允許的。