AI Engineering Tools

データ分析

機械学習・予測分析用語

特徴、ターゲット、学習方法、データ分割、パイプライン、適合問題、クロスバリデーション、メトリック、およびリーケージリスクを理解します。

12

モデルデータ

特徴

Feature

意味

モデルが予測を行うか、パターンを発見するために使用する入力変数。

使用場面

予測時に利用可能で、タスクに関連する特徴量を選択します。

活用例

特徴:tenure_days、order_count_90d、support_ticket_count。

モデルデータ

ターゲット

Target

意味

教師ありモデルが学習する、予測される結果またはラベル。

使用場面

明確な観察期間とビジネス上の意味を持つように、これを定義します。

活用例

ターゲット:顧客が今後 30 日以内に解約するかどうか。

学習方法

教師あり学習

Supervised learning

意味

ラベル付けされた例を用いて、入力から既知のターゲット値へのマッピングを学習する。

使用場面

過去のラベルが利用可能な場合に、分類または回帰に使用します。

活用例

過去のトランザクションを、不正または不正ではないとラベル付けして、分類器をトレーニングします。

学習方法

教師なし学習

Unsupervised learning

意味

提供されたターゲットラベルなしで、データ内の構造を見つける。

使用場面

クラスタリング、次元削減、または異常探索に使用します。

活用例

クラスターは、販売構成と顧客の行動に基づいて商品を分類します。

検証

トレーニングデータとテストデータを分割

Train-test split

意味

モデルの学習に使用するデータと、最終評価のために予約されたデータを分離します。

使用場面

ランダムな分割が情報を漏洩する可能性がある場合は、時間情報またはグループ情報を考慮した分割を使用してください。

活用例

1月から10月までトレーニングし、11月に検証し、12月にテストします。

ワークフロー

前処理パイプライン

Preprocessing pipeline

意味

変換とモデルの適合の順序付けられた、再利用可能なシーケンス。

使用場面

前処理はトレーニングデータに対してのみ実行し、予測時にも同じ手順を適用する。

活用例

impute -> standardize -> one-hot encode -> fit model

学習方法

モデル

Model

意味

予測または意思決定を行うために使用される、学習された数学的または計算表現。

使用場面

同じ評価プロトコルで、単純なベースラインと、より複雑な候補を比較します。

活用例

基準:ロジスティック回帰;候補:勾配ブースティング。

検証

過学習

Overfitting

意味

モデルがトレーニングデータ固有のノイズを学習し、未知のデータに対してパフォーマンスが低下する場合。

使用場面

保留された評価で検出し、より単純なモデル、正則化、またはより代表的なデータを使用して、これを削減します。

活用例

トレーニング精度が99%、検証精度が71%という結果は、過学習を示唆しています。

検証

過小適合

Underfitting

意味

モデルがデータ内の重要なパターンを捉えきれない場合。

使用場面

トレーニングと検証の両方のパフォーマンスが低いかどうかを確認します。

活用例

両方のエラーが高い場合は、より情報的な機能またはより適切なモデルを追加する。

検証

交差検証

Cross-validation

意味

データセットをトレーニング用と検証用に繰り返し分割し、モデルのパフォーマンスを推定します。

使用場面

クラスのバランス、グループ、または時間順序に適したスプリッターを使用します。

活用例

不均衡な分類タスクに対して、5分割の層化クロスバリデーションを実行します。

検証

評価指標

Evaluation metric

意味

予測の品質を判断するために使用される数値的な指標。

使用場面

便利なものだけでなく、エラーコストとクラスバランスに応じて、メトリックを選択します。

活用例

誤検知と誤検知が異なるコストを持つ場合に、適合率と再現率を追跡します。

リスク

データ漏洩

Data leakage

意味

トレーニングに使用する情報が、実際の予測時には利用できない場合。

使用場面

結果を信頼する前に、監査機能、タイミングの分割、前処理、および集計ウィンドウを監査します。

注意

データの漏洩は、オフラインのスコアを高く見せる一方で、本番環境でのパフォーマンスを低下させる可能性があります。

活用例

最終的な返金ステータスを使用して、注文が返金されるかどうかを予測しないでください。