Phân tích dữ liệu

Thuật ngữ thu thập, làm sạch và tiền xử lý dữ liệu

Tìm hiểu về các thuật ngữ về nguồn, quy trình, lược đồ, dữ liệu bị thiếu, chất lượng, khả năng mở rộng, mã hóa và xác thực được sử dụng để chuẩn bị dữ liệu đáng tin cậy.

12 thuật ngữ

Thu thập và quy trình xử lý dữ liệu

Nguồn dữ liệu

Data source

Ý nghĩa

Hệ thống, tệp, cảm biến, khảo sát hoặc dịch vụ mà dữ liệu bắt nguồn.

Khi dùng

Ghi lại thông tin về quyền sở hữu, tần suất cập nhật, phương thức truy cập và các hạn chế đã biết.

Ví dụ

Source: production orders database, refreshed every hour.

Thu thập và quy trình xử lý dữ liệu

ETL

Ý nghĩa

Trích xuất, chuyển đổi và tải: một quy trình di chuyển và chuẩn bị dữ liệu cho một hệ thống đích.

Khi dùng

Sử dụng nó để nhập dữ liệu lặp đi lặp lại vào các kho dữ liệu, trung tâm dữ liệu hoặc hệ thống phân tích.

Ví dụ

Extract orders -> standardize currency -> load analytics.orders

Cấu trúc

Sơ đồ

Schema

Ý nghĩa

Một định nghĩa về các trường dữ liệu, kiểu, mối quan hệ và ràng buộc.

Khi dùng

Sử dụng nó để xác thực dữ liệu đầu vào và điều phối các trình sản xuất và người tiêu dùng.

Ví dụ

order_id: chuỗi, ordered_at: dấu thời gian, amount: số thập phân

Cấu trúc

Kiểu dữ liệu

Data type

Ý nghĩa

Một phân loại xác định cách một giá trị được lưu trữ và diễn giải.

Khi dùng

Đặt kiểu chính xác trước khi sắp xếp, thực hiện các phép tính, lọc và các thao tác ngày tháng.

Ví dụ

Chuyển đổi ordered_at từ văn bản thành dấu thời gian.

Chất lượng dữ liệu

Giá trị bị thiếu

Missing value

Ý nghĩa

Một giá trị bị thiếu, không xác định hoặc không áp dụng.

Khi dùng

Đo mức độ thiếu dữ liệu theo cột và điều tra lý do tại sao nó xảy ra trước khi xử lý.

Ví dụ

missing_rate = isna(customer_age).mean()

Chất lượng dữ liệu

Ước lượng

Imputation

Ý nghĩa

Thay thế các giá trị bị thiếu bằng các giá trị ước tính hoặc dựa trên quy tắc.

Khi dùng

Sử dụng khi xóa dữ liệu sẽ gây lãng phí và các giả định thay thế có thể được biện minh.

Lưu ý

Ước lượng có thể làm sai lệch phân phối và độ không chắc chắn; ghi lại phương pháp và bảo toàn chỉ báo về dữ liệu bị thiếu khi cần thiết.

Ví dụ

Điền giá trị `store_size` bị thiếu bằng giá trị trung bình trong mỗi loại cửa hàng (`store_type`).

Chất lượng dữ liệu

Bản ghi trùng lặp

Duplicate record

Ý nghĩa

Một hàng hoặc thực thể lặp lại đại diện cho cùng một sự kiện hoặc đối tượng cơ bản.

Khi dùng

Xác định khóa chính và quy tắc lưu giữ trước khi xóa các bản sao.

Ví dụ

Giữ hàng mới nhất cho mỗi order_id sau khi sắp xếp theo updated_at.

Chất lượng dữ liệu

Giá trị ngoại lệ.

Outlier

Ý nghĩa

Một quan sát nằm ngoài mô hình dữ liệu chính.

Khi dùng

Điều tra xem đó có phải là một lỗi, một sự kiện hiếm gặp hợp lệ, hay một tín hiệu cần được xử lý riêng.

Ví dụ

Đánh giá các giao dịch vượt quá ngưỡng 99,9% thay vì tự động xóa chúng.

Biến đổi

Chuẩn hóa.

Normalization

Ý nghĩa

Điều chỉnh giá trị thành một phạm vi giới hạn, thường là từ 0 đến 1.

Khi dùng

Sử dụng khi các thuật toán hoặc so sánh nhạy cảm với tỷ lệ đặc trưng.

Ví dụ

x_scaled = (x - min(x)) / (max(x) - min(x))

Biến đổi

Chuẩn hóa

Standardization

Ý nghĩa

Điều chỉnh các giá trị trung tâm và tỷ lệ, thường là về giá trị trung bình 0 và độ lệch chuẩn 1.

Khi dùng

Sử dụng nó cho các mô hình so sánh hoặc kết hợp các tính năng với các đơn vị khác nhau.

Ví dụ

z = (x - mean(x)) / std(x)

Biến đổi

Mã hóa phân loại

Categorical encoding

Ý nghĩa

Chuyển đổi các nhãn phân loại thành một biểu diễn mà thuật toán có thể xử lý.

Khi dùng

Chọn mã hóa một-khỏi, thứ tự, mục tiêu hoặc học được dựa trên ý nghĩa và hành vi của mô hình.

Ví dụ

Mã hóa one-hot kênh thành channel_web, channel_store, channel_partner.

Chất lượng dữ liệu

Xác thực dữ liệu

Data validation

Ý nghĩa

Kiểm tra tự động hoặc thủ công để đảm bảo dữ liệu đáp ứng các quy tắc và ràng buộc dự kiến.

Khi dùng

Chạy nó ở ranh giới quy trình để phát hiện sớm các lỗi về chất lượng.

Ví dụ

Xác minh rằng order_id là duy nhất, amount >= 0 và currency được cho phép.