模型数据
特征
Feature
含义
一个模型用于进行预测或发现模式的输入变量。
使用场景
选择在预测时可用且与任务相关的特征。
应用示例
功能:tenure_days, order_count_90d, support_ticket_count.数据分析
理解特征、目标、学习方法、数据分割、流水线、拟合问题、交叉验证、指标以及潜在的泄漏风险。
12 个术语
模型数据
Feature
一个模型用于进行预测或发现模式的输入变量。
选择在预测时可用且与任务相关的特征。
功能:tenure_days, order_count_90d, support_ticket_count.模型数据
Target
监督模型训练的目标是预测的结果或标签。
使用清晰的观察窗口和业务含义定义它。
目标:客户是否会在未来 30 天内流失。学习方法
Supervised learning
通过使用带标签的示例,从输入到已知目标值的映射学习。
用于分类或回归,当有历史标签可用时。
使用过去交易数据训练一个分类器,将交易标记为欺诈或非欺诈。学习方法
Unsupervised learning
在没有提供目标标签的情况下,在数据中寻找结构。
用于聚类、降维或异常探索。
根据销售组合和客户行为,对商店进行分组。验证
Train-test split
将用于拟合模型的的数据与用于最终评估的数据分开。
在随机分割可能泄露信息时,使用时间感知或组感知分割。
在 1 月至 10 月进行训练,在 11 月进行验证,在 12 月进行测试。工作流程
Preprocessing pipeline
一系列有序的可重用转换和模型拟合步骤。
仅在训练数据上进行预处理,并在预测期间应用相同的步骤。
impute -> standardize -> one-hot encode -> fit model学习方法
Model
一种用于进行预测或决策的、学习到的数学或计算表示。
在相同的评估协议下,将简单的基线与更复杂的候选方案进行比较。
Baseline:逻辑回归;候选:梯度提升。验证
Overfitting
当模型学习到训练特定的噪声,并在未见过的数据上表现不佳时。
使用验证数据集进行检测,并使用更简单的模型、正则化或更具代表性的数据来减少其影响。
训练准确率 99%,验证准确率 71%,表明存在过拟合。验证
Underfitting
当模型过于有限,无法捕捉数据中的重要模式时。
检查训练和验证性能是否都较差。
当两个错误仍然很高时,添加信息性功能或更合适的模型。验证
Cross-validation
反复将数据拆分为训练和验证集,以估计模型的性能。
使用适当的分区器,用于类平衡、组或时间顺序。
对不平衡的分类任务运行 5 折交叉验证。验证
Evaluation metric
一个用于判断预测质量的数值。
根据错误成本和类别平衡,而不是仅仅为了方便,选择指标。
跟踪精度和召回率,尤其是在假阳性和假阴性具有不同成本时。风险
Data leakage
当训练使用在实际预测时不可用的信息时。
在信任结果之前,审计功能、分割时间、预处理和聚合窗口。
泄漏可能会使离线评分看起来非常出色,而生产环境的性能却不佳。
不要使用最终的退款状态来预测订单是否会被退款。