수집·파이프라인
데이터 원천
Data source
뜻
데이터가 발생하는 시스템, 파일, 센서, 설문, 서비스입니다.
언제 쓰나
소유자, 갱신 주기, 접근 방식, 알려진 한계를 기록합니다.
활용 예시
Source: production orders database, refreshed every hour.데이터 분석
데이터 수집·정제·전처리 용어
신뢰할 수 있는 데이터를 준비할 때 사용하는 원천, 파이프라인, 스키마, 결측, 품질, 스케일링, 인코딩, 검증 용어를 설명합니다.
12 개 용어
수집·파이프라인
ETL
ETL
뜻
데이터를 추출하고 변환한 뒤 대상 시스템에 적재하는 파이프라인입니다.
언제 쓰나
데이터 웨어하우스, 마트, 분석 시스템에 반복 적재할 때 사용합니다.
활용 예시
Extract orders -> standardize currency -> load analytics.orders구조
스키마
Schema
뜻
데이터 필드, 자료형, 관계, 제약을 정의한 구조입니다.
언제 쓰나
입력 데이터를 검증하고 생산자와 사용자의 규약을 맞출 때 사용합니다.
활용 예시
order_id: 문자열, ordered_at: 타임스탬프, amount: 소수구조
자료형
Data type
뜻
값을 저장하고 해석하는 방식을 결정하는 분류입니다.
언제 쓰나
정렬, 계산, 필터, 날짜 처리 전에 올바른 자료형을 지정합니다.
활용 예시
ordered_at을 텍스트에서 타임스탬프로 변환합니다.데이터 품질
결측값
Missing value
뜻
값이 없거나 알 수 없거나 해당되지 않는 상태입니다.
언제 쓰나
처리하기 전에 열별 결측 비율과 발생 원인을 확인합니다.
활용 예시
missing_rate = isna(customer_age).mean()데이터 품질
결측값 대치
Imputation
뜻
결측값을 추정값이나 규칙 기반 값으로 채우는 작업입니다.
언제 쓰나
행 삭제로 정보 손실이 크고 대치 가정을 설명할 수 있을 때 사용합니다.
주의
대치는 분포와 불확실성을 왜곡할 수 있으므로 방법을 기록하고 필요하면 결측 여부 열을 보존합니다.
활용 예시
누락된 store_size를 각 store_type 내의 중앙값으로 채웁니다.데이터 품질
중복 레코드
Duplicate record
뜻
동일한 사건이나 대상을 중복해 나타내는 행 또는 엔터티입니다.
언제 쓰나
중복 제거 전에 업무 키와 보존 기준을 정의합니다.
활용 예시
updated_at으로 정렬한 후 각 order_id에 대해 가장 최신 행을 유지합니다.데이터 품질
이상치
Outlier
뜻
주요 데이터 패턴에서 비정상적으로 멀리 떨어진 관측값입니다.
언제 쓰나
오류인지, 유효한 희귀 사건인지, 별도 처리할 신호인지 조사합니다.
활용 예시
99.9번째 백분위수 이상의 거래를 자동으로 삭제하는 대신 검토합니다.변환
정규화
Normalization
뜻
값을 흔히 0에서 1 사이의 제한된 범위로 조정하는 작업입니다.
언제 쓰나
알고리즘이나 비교가 변수 크기에 민감할 때 사용합니다.
활용 예시
x_scaled = (x - min(x)) / (max(x) - min(x))변환
표준화
Standardization
뜻
일반적으로 평균 0, 표준편차 1이 되도록 값을 중심화하고 조정하는 작업입니다.
언제 쓰나
서로 다른 단위의 변수를 비교하거나 결합하는 모델에 사용합니다.
활용 예시
z = (x - mean(x)) / std(x)변환
범주형 인코딩
Categorical encoding
뜻
범주 라벨을 알고리즘이 처리할 수 있는 표현으로 변환하는 작업입니다.
언제 쓰나
범주의 의미와 모델 특성에 따라 원-핫, 순서형, 타깃 등의 방식을 선택합니다.
활용 예시
채널을 one-hot 인코딩하여 channel_web, channel_store, channel_partner로 변환합니다.데이터 품질
데이터 검증
Data validation
뜻
데이터가 예상 규칙과 제약을 만족하는지 자동 또는 수동으로 확인하는 과정입니다.
언제 쓰나
파이프라인 경계에서 실행해 품질 저하를 일찍 발견합니다.
활용 예시
order_id가 고유하고, amount가 0 이상이며, currency가 허용된 값인지 확인합니다.