수집·파이프라인
데이터 원천
Data source
뜻
데이터가 발생하는 시스템, 파일, 센서, 설문, 서비스입니다.
언제 쓰나
소유자, 갱신 주기, 접근 방식, 알려진 한계를 기록합니다.
활용 예시
Source: production orders database, refreshed every hour.데이터 분석
데이터 수집·정제·전처리 용어
신뢰할 수 있는 데이터를 준비할 때 사용하는 원천, 파이프라인, 스키마, 결측, 품질, 스케일링, 인코딩, 검증 용어를 설명합니다.
12 개 용어
수집·파이프라인
ETL
ETL
뜻
데이터를 추출하고 변환한 뒤 대상 시스템에 적재하는 파이프라인입니다.
언제 쓰나
데이터 웨어하우스, 마트, 분석 시스템에 반복 적재할 때 사용합니다.
활용 예시
Extract orders -> standardize currency -> load analytics.orders구조
스키마
Schema
뜻
데이터 필드, 자료형, 관계, 제약을 정의한 구조입니다.
언제 쓰나
입력 데이터를 검증하고 생산자와 사용자의 규약을 맞출 때 사용합니다.
활용 예시
order_id: string, ordered_at: timestamp, amount: decimal구조
자료형
Data type
뜻
값을 저장하고 해석하는 방식을 결정하는 분류입니다.
언제 쓰나
정렬, 계산, 필터, 날짜 처리 전에 올바른 자료형을 지정합니다.
활용 예시
Convert ordered_at from text to timestamp.데이터 품질
결측값
Missing value
뜻
값이 없거나 알 수 없거나 해당되지 않는 상태입니다.
언제 쓰나
처리하기 전에 열별 결측 비율과 발생 원인을 확인합니다.
활용 예시
missing_rate = isna(customer_age).mean()데이터 품질
결측값 대치
Imputation
뜻
결측값을 추정값이나 규칙 기반 값으로 채우는 작업입니다.
언제 쓰나
행 삭제로 정보 손실이 크고 대치 가정을 설명할 수 있을 때 사용합니다.
주의
대치는 분포와 불확실성을 왜곡할 수 있으므로 방법을 기록하고 필요하면 결측 여부 열을 보존합니다.
활용 예시
Fill missing store_size with the median within each store_type.데이터 품질
중복 레코드
Duplicate record
뜻
동일한 사건이나 대상을 중복해 나타내는 행 또는 엔터티입니다.
언제 쓰나
중복 제거 전에 업무 키와 보존 기준을 정의합니다.
활용 예시
Keep the latest row for each order_id after sorting by updated_at.데이터 품질
이상치
Outlier
뜻
주요 데이터 패턴에서 비정상적으로 멀리 떨어진 관측값입니다.
언제 쓰나
오류인지, 유효한 희귀 사건인지, 별도 처리할 신호인지 조사합니다.
활용 예시
Review transactions above the 99.9th percentile instead of deleting them automatically.변환
정규화
Normalization
뜻
값을 흔히 0에서 1 사이의 제한된 범위로 조정하는 작업입니다.
언제 쓰나
알고리즘이나 비교가 변수 크기에 민감할 때 사용합니다.
활용 예시
x_scaled = (x - min(x)) / (max(x) - min(x))변환
표준화
Standardization
뜻
일반적으로 평균 0, 표준편차 1이 되도록 값을 중심화하고 조정하는 작업입니다.
언제 쓰나
서로 다른 단위의 변수를 비교하거나 결합하는 모델에 사용합니다.
활용 예시
z = (x - mean(x)) / std(x)변환
범주형 인코딩
Categorical encoding
뜻
범주 라벨을 알고리즘이 처리할 수 있는 표현으로 변환하는 작업입니다.
언제 쓰나
범주의 의미와 모델 특성에 따라 원-핫, 순서형, 타깃 등의 방식을 선택합니다.
활용 예시
One-hot encode channel into channel_web, channel_store, channel_partner.데이터 품질
데이터 검증
Data validation
뜻
데이터가 예상 규칙과 제약을 만족하는지 자동 또는 수동으로 확인하는 과정입니다.
언제 쓰나
파이프라인 경계에서 실행해 품질 저하를 일찍 발견합니다.
활용 예시
Assert order_id is unique, amount >= 0, and currency is allowed.