コレクションとパイプライン
データソース
Data source
意味
データがOriginとなるシステム、ファイル、センサー、調査、またはサービス。
使用場面
所有権、更新頻度、アクセス方法、および既知の制限事項を記録します。
活用例
Source: production orders database, refreshed every hour.データ分析
データ収集・クレンジング・前処理用語
信頼性の高いデータを作成するために用いられる、ソース、パイプライン、スキーマ、欠損データ、品質、スケーリング、エンコーディング、検証といった用語を学びます。
12 件
コレクションとパイプライン
ETL
ETL
意味
抽出、変換、およびロード：データをターゲットシステムに移動および準備するパイプライン。
使用場面
データウェアハウス、データマート、または分析システムへの繰り返し取り込みに使用します。
活用例
Extract orders -> standardize currency -> load analytics.orders構造
スキーマ
Schema
意味
データフィールド、型、関係、および制約の定義。
使用場面
データの検証を行い、プロデューサーとコンシューマーを調整するために使用します。
活用例
order_id: 文字列, ordered_at: タイムスタンプ, 金額: 10進数構造
データ型
Data type
意味
値がどのように保存および解釈されるかを決定する分類。
使用場面
ソート、算術演算、フィルタリング、および日付操作を行う前に、正しい型を設定します。
活用例
ordered_at をテキストからタイムスタンプに変換します。データ品質
欠損値
Missing value
意味
存在しない、不明、または適用されない値。
使用場面
列ごとに欠損値を測定し、処理する前にその原因を調査します。
活用例
missing_rate = isna(customer_age).mean()データ品質
補完
Imputation
意味
欠損値を、推定値またはルールベースの値で置き換えます。
使用場面
削除がデータ廃棄につながり、置換の仮定が妥当である場合に使用します。
注意
補完は分布と不確実性を歪める可能性があります。方法を記録し、必要に応じて欠損値のインジケーターを保持します。
活用例
欠損している store_size を、各 store_type 内の中央値で補完する。データ品質
重複レコード
Duplicate record
意味
同じ基盤となるイベントまたはオブジェクトを表す、繰り返される行またはエンティティ。
使用場面
重複を削除する前に、ビジネスキーと保持ルールを定義します。
活用例
`updated_at`でソートした後、各`order_id`の最新の行を保持します。データ品質
外れ値
Outlier
意味
主要なデータパターンから著しく離れた観察。
使用場面
エラーであるか、有効なまれなイベントであるか、または特別な処理が必要な信号であるかを調査します。
活用例
自動的に削除するのではなく、99.9パーセンタイルを超えるトランザクションをレビューします。変換
正規化
Normalization
意味
値を、通常は0から1までの境界付きの範囲に再スケーリングします。
使用場面
アルゴリズムまたは比較が、特徴量のスケールに敏感な場合に、使用します。
活用例
x_scaled = (x - min(x)) / (max(x) - min(x))変換
標準化
Standardization
意味
中心値と標準偏差を、それぞれ 0 と 1 にするような値を計算します。
使用場面
異なる単位で特徴を比較または組み合わせるモデルに使用します。
活用例
z = (x - mean(x)) / std(x)変換
カテゴリカルエンコーディング
Categorical encoding
意味
カテゴリカルラベルを、アルゴリズムが処理できる表現に変換します。
使用場面
意味とモデルの動作に基づいて、one-hot、順序付き、ターゲット、または学習済みエンコーディングを選択してください。
活用例
channelをone-hotエンコードして、channel_web、channel_store、channel_partnerに分割します。データ品質
データ検証
Data validation
意味
データが期待されるルールと制約を満たしているかどうかを確認するための、自動または手動のチェック。
使用場面
品質劣化を早期に検出するために、パイプラインの境界で実行します。
活用例
order_idが一意であり、amountが0以上であり、currencyが許可されていることをアサートします。