Phân tích dữ liệu

Thuật ngữ học máy và phân tích dự đoán

Hiểu các tính năng, mục tiêu, phương pháp học, phân chia dữ liệu, quy trình, vấn đề phù hợp, xác thực chéo, chỉ số và rủi ro rò rỉ.

12 thuật ngữ

Dữ liệu mô hình

Tính năng.

Feature

Ý nghĩa

Một biến đầu vào được sử dụng bởi một mô hình để đưa ra dự đoán hoặc khám phá một mẫu.

Khi dùng

Chọn các tính năng có sẵn tại thời điểm dự đoán và liên quan đến tác vụ.

Ví dụ

Các tính năng: tenure_days, order_count_90d, support_ticket_count.

Dữ liệu mô hình

Mục tiêu

Target

Ý nghĩa

Kết quả hoặc nhãn mà mô hình được huấn luyện để dự đoán.

Khi dùng

Xác định nó với một khoảng thời gian quan sát rõ ràng và ý nghĩa kinh doanh.

Ví dụ

Mục tiêu: Xem xét liệu khách hàng có rời bỏ trong 30 ngày tới hay không.

Các phương pháp học tập

Học có giám sát

Supervised learning

Ý nghĩa

Học cách ánh xạ từ các đầu vào sang các giá trị mục tiêu đã biết bằng cách sử dụng các ví dụ được gắn nhãn.

Khi dùng

Sử dụng nó cho phân loại hoặc hồi quy khi có sẵn các nhãn lịch sử.

Ví dụ

Huấn luyện một bộ phân loại bằng cách sử dụng các giao dịch trong quá khứ được gắn nhãn là gian lận hoặc không gian lận.

Các phương pháp học tập

Học không giám sát

Unsupervised learning

Ý nghĩa

Tìm cấu trúc trong dữ liệu mà không có nhãn mục tiêu được cung cấp.

Khi dùng

Sử dụng nó cho phân cụm, giảm chiều hoặc khám phá các điểm bất thường.

Ví dụ

Phân cụm các cửa hàng theo sự kết hợp doanh số và hành vi của khách hàng.

Xác thực

Chia tập huấn luyện và tập kiểm tra

Train-test split

Ý nghĩa

Tách dữ liệu được sử dụng để huấn luyện mô hình khỏi dữ liệu được dành riêng cho đánh giá cuối cùng.

Khi dùng

Sử dụng phân chia theo thời gian hoặc theo nhóm khi phân chia ngẫu nhiên có thể làm rò rỉ thông tin.

Ví dụ

Huấn luyện từ tháng 1 đến tháng 10, xác thực vào tháng 11, kiểm tra vào tháng 12.

Quy trình làm việc

Quy trình xử lý trước

Preprocessing pipeline

Ý nghĩa

Một chuỗi các bước biến đổi và điều chỉnh mô hình có thứ tự và có thể tái sử dụng.

Khi dùng

Chỉ áp dụng tiền xử lý cho dữ liệu huấn luyện và áp dụng các bước tương tự trong quá trình dự đoán.

Ví dụ

impute -> standardize -> one-hot encode -> fit model

Các phương pháp học tập

Mô hình

Model

Ý nghĩa

Một biểu diễn toán học hoặc tính toán được học để đưa ra dự đoán hoặc quyết định.

Khi dùng

So sánh một giá trị cơ sở đơn giản với các ứng cử viên phức tạp hơn theo cùng một giao thức đánh giá.

Ví dụ

Baseline: hồi quy logistic; ứng viên: gradient boosting.

Xác thực

Quá khớp.

Overfitting

Ý nghĩa

Khi một mô hình học được nhiễu đặc trưng cho quá trình huấn luyện và hoạt động kém trên dữ liệu chưa được thấy.

Khi dùng

Phát hiện điều này bằng đánh giá độc lập và giảm thiểu nó bằng các mô hình đơn giản hơn, điều chuẩn hoặc dữ liệu đại diện hơn.

Ví dụ

Độ chính xác huấn luyện 99%, độ chính xác xác thực 71% cho thấy hiện tượng quá khớp.

Xác thực

Quá khớp (Underfitting)

Underfitting

Ý nghĩa

Khi một mô hình bị giới hạn và không thể nắm bắt được các mẫu quan trọng trong dữ liệu.

Khi dùng

Kiểm tra xem hiệu suất huấn luyện và xác thực có kém hay không.

Ví dụ

Thêm các tính năng thông tin hoặc một mô hình phù hợp hơn khi cả hai loại lỗi vẫn còn cao.

Xác thực

Xác thực chéo

Cross-validation

Ý nghĩa

Chia dữ liệu lặp đi lặp lại thành các tập huấn luyện và xác thực để ước tính hiệu suất của mô hình.

Khi dùng

Sử dụng bộ phân loại thích hợp cho sự cân bằng lớp, nhóm hoặc thứ tự thời gian.

Ví dụ

Chạy kiểm tra chéo phân tầng 5 lần cho một tác vụ phân loại không cân bằng.

Xác thực

Chỉ số đánh giá

Evaluation metric

Ý nghĩa

Một thước đo số học được sử dụng để đánh giá chất lượng dự đoán.

Khi dùng

Chọn các chỉ số dựa trên chi phí lỗi và sự cân bằng của lớp, không chỉ dựa trên sự tiện lợi.

Ví dụ

Theo dõi độ chính xác và độ bao phủ khi các kết quả dương tính giả và âm tính giả có chi phí khác nhau.

Rủi ro.

Rò rỉ dữ liệu

Data leakage

Ý nghĩa

Khi quá trình huấn luyện sử dụng thông tin không có sẵn tại thời điểm dự đoán thực tế.

Khi dùng

Kiểm toán các tính năng, thời gian phân đoạn, tiền xử lý và cửa sổ tổng hợp trước khi tin tưởng vào kết quả.

Lưu ý

Rò rỉ có thể khiến điểm số ngoại tuyến trông rất tốt trong khi hiệu suất thực tế lại kém.

Ví dụ

Không sử dụng trạng thái hoàn tiền cuối cùng để dự đoán xem một đơn đặt hàng có được hoàn tiền hay không.