收集和流水线
数据源
Data source
含义
数据源自的系统、文件、传感器、调查或服务。
使用场景
记录所有权、更新频率、访问方法以及已知的限制。
应用示例
Source: production orders database, refreshed every hour.数据分析
数据收集、清洗与预处理术语
了解用于准备可靠数据的源、管道、模式、缺失数据、质量、缩放、编码和验证术语。
12 个术语
收集和流水线
ETL
ETL
含义
提取、转换和加载：一个将数据移动并准备好以供目标系统使用的流程。
使用场景
用于重复的导入到数据仓库、数据市场或分析系统。
应用示例
Extract orders -> standardize currency -> load analytics.orders结构
模式
Schema
含义
对数据字段、类型、关系和约束的定义。
使用场景
使用它来验证传入的数据，并协调生产者和消费者。
应用示例
order_id: 字符串, ordered_at: 时间戳, amount: 十进制数结构
数据类型
Data type
含义
一种分类，用于确定如何存储和解释值。
使用场景
在进行排序、算术运算、过滤和日期操作之前，设置正确的类型。
应用示例
将 ordered_at 从文本转换为时间戳。数据质量
缺失值
Missing value
含义
一个缺失、未知或不适用的值。
使用场景
通过列来测量缺失值，并在处理之前调查其发生原因。
应用示例
missing_rate = isna(customer_age).mean()数据质量
补值
Imputation
含义
使用估计值或基于规则的值来填充缺失值。
使用场景
当删除数据会造成浪费，并且替换的假设是合理的时使用。
注意
补值可能会扭曲分布和不确定性；记录使用的方法，并在必要时保留缺失值的指示器。
应用示例
使用每个 store_type 中的中位数填充缺失的 store_size 值。数据质量
复制的记录
Duplicate record
含义
一行或实体重复，表示相同的底层事件或对象。
使用场景
在删除重复项之前，定义业务键和保留规则。
应用示例
按照 updated_at 进行排序后，为每个 order_id 保持最新的行。数据质量
异常值
Outlier
含义
一个与主要数据模式明显不同的观察结果。
使用场景
调查它是否是错误、一个有效的罕见事件，或者是一个需要单独处理的信号。
应用示例
审查高于 99.9% 百分位数的交易，而不是自动删除它们。转换
归一化
Normalization
含义
将值缩放到有界范围，通常为 0 到 1。
使用场景
在算法或比较对特征尺度敏感时使用。
应用示例
x_scaled = (x - min(x)) / (max(x) - min(x))转换
标准化
Standardization
含义
居中和缩放值，通常设置为均值为 0 和标准差为 1。
使用场景
用于比较或组合具有不同单位的特征的模型。
应用示例
z = (x - mean(x)) / std(x)转换
分类编码
Categorical encoding
含义
将分类标签转换为算法可以处理的表示形式。
使用场景
根据含义和模型行为，选择 one-hot、ordinal、target 或学习到的编码方式。
应用示例
使用 one-hot 编码将通道转换为 channel_web、channel_store、channel_partner。数据质量
数据验证
Data validation
含义
自动或手动检查，以确保数据满足预期的规则和约束。
使用场景
在管道边界处运行它，以尽早检测质量下降。
应用示例
断言 order_id 是唯一的，amount >= 0，并且 currency 是允许的。