AI Engineering Tools

数据分析

机器学习与预测分析术语

理解特征、目标、学习方法、数据分割、流水线、拟合问题、交叉验证、指标以及潜在的泄漏风险。

12 个术语

模型数据

特征

Feature

含义

一个模型用于进行预测或发现模式的输入变量。

使用场景

选择在预测时可用且与任务相关的特征。

应用示例

功能:tenure_days, order_count_90d, support_ticket_count.

模型数据

目标

Target

含义

监督模型训练的目标是预测的结果或标签。

使用场景

使用清晰的观察窗口和业务含义定义它。

应用示例

目标:客户是否会在未来 30 天内流失。

学习方法

监督学习

Supervised learning

含义

通过使用带标签的示例,从输入到已知目标值的映射学习。

使用场景

用于分类或回归,当有历史标签可用时。

应用示例

使用过去交易数据训练一个分类器,将交易标记为欺诈或非欺诈。

学习方法

无监督学习

Unsupervised learning

含义

在没有提供目标标签的情况下,在数据中寻找结构。

使用场景

用于聚类、降维或异常探索。

应用示例

根据销售组合和客户行为,对商店进行分组。

验证

训练-测试划分

Train-test split

含义

将用于拟合模型的的数据与用于最终评估的数据分开。

使用场景

在随机分割可能泄露信息时,使用时间感知或组感知分割。

应用示例

在 1 月至 10 月进行训练,在 11 月进行验证,在 12 月进行测试。

工作流程

预处理流水线

Preprocessing pipeline

含义

一系列有序的可重用转换和模型拟合步骤。

使用场景

仅在训练数据上进行预处理,并在预测期间应用相同的步骤。

应用示例

impute -> standardize -> one-hot encode -> fit model

学习方法

模型

Model

含义

一种用于进行预测或决策的、学习到的数学或计算表示。

使用场景

在相同的评估协议下,将简单的基线与更复杂的候选方案进行比较。

应用示例

Baseline:逻辑回归;候选:梯度提升。

验证

过拟合

Overfitting

含义

当模型学习到训练特定的噪声,并在未见过的数据上表现不佳时。

使用场景

使用验证数据集进行检测,并使用更简单的模型、正则化或更具代表性的数据来减少其影响。

应用示例

训练准确率 99%,验证准确率 71%,表明存在过拟合。

验证

欠拟合

Underfitting

含义

当模型过于有限,无法捕捉数据中的重要模式时。

使用场景

检查训练和验证性能是否都较差。

应用示例

当两个错误仍然很高时,添加信息性功能或更合适的模型。

验证

交叉验证

Cross-validation

含义

反复将数据拆分为训练和验证集,以估计模型的性能。

使用场景

使用适当的分区器,用于类平衡、组或时间顺序。

应用示例

对不平衡的分类任务运行 5 折交叉验证。

验证

评估指标

Evaluation metric

含义

一个用于判断预测质量的数值。

使用场景

根据错误成本和类别平衡,而不是仅仅为了方便,选择指标。

应用示例

跟踪精度和召回率,尤其是在假阳性和假阴性具有不同成本时。

风险

数据泄露

Data leakage

含义

当训练使用在实际预测时不可用的信息时。

使用场景

在信任结果之前,审计功能、分割时间、预处理和聚合窗口。

注意

泄漏可能会使离线评分看起来非常出色,而生产环境的性能却不佳。

应用示例

不要使用最终的退款状态来预测订单是否会被退款。