Анализ данных
Изучите термины, используемые для подготовки надежных данных, такие как источник, конвейер, схема, отсутствующие данные, качество, масштабирование, кодирование и проверка.
12 терминов
Сбор данных и конвейеры.
Data source
Система, файл, датчик, опрос или сервис, из которого поступают данные.
Запишите владельца, частоту обновления, метод доступа и известные ограничения.
Source: production orders database, refreshed every hour.Сбор данных и конвейеры.
ETL
Извлечение, преобразование и загрузка: конвейер, который перемещает и подготавливает данные для целевой системы.
Используйте это для многократной загрузки данных в хранилища, аналитические системы или системы обработки данных.
Extract orders -> standardize currency -> load analytics.ordersСтруктура
Schema
Определение полей данных, типов, взаимосвязей и ограничений.
Используйте это для проверки входящих данных и координации производителей и потребителей.
order_id: строка, ordered_at: метка времени, amount: десятичное числоСтруктура
Data type
Классификация, определяющая, как значение хранится и интерпретируется.
Установите правильные типы перед сортировкой, арифметическими операциями, фильтрацией и операциями с датами.
Преобразуйте ordered_at из текста в метку времени.Качество данных
Missing value
Значение, которое отсутствует, неизвестно или неприменимо.
Измерьте количество пропущенных значений по столбцам и выясните, почему это происходит, прежде чем предпринимать какие-либо действия.
missing_rate = isna(customer_age).mean()Качество данных
Imputation
Заполнение отсутствующих значений оцененными или основанными на правилах значениями.
Используйте это, когда удаление приведет к потере данных, и предположения о замене являются обоснованными.
Интерполяция может искажать распределения и неопределенность; документируйте метод и сохраняйте индикатор пропущенных значений, если это полезно.
Заполните отсутствующие значения store_size медианным значением для каждого store_type.Качество данных
Duplicate record
Повторяющаяся строка или сущность, представляющая одно и то же базовое событие или объект.
Определите основной ключ и правило хранения данных перед удалением дубликатов.
Оставляйте последнюю строку для каждого order_id после сортировки по updated_at.Качество данных
Outlier
Наблюдение, которое значительно отличается от основной структуры данных.
Исследуйте, является ли это ошибкой, допустимым редким событием или сигналом, требующим отдельной обработки.
Просматривайте транзакции, превышающие 99,9-й процентиль, вместо автоматического удаления.Преобразование
Normalization
Масштабирование значений до ограниченного диапазона, обычно от 0 до 1.
Используйте это, когда алгоритмы или сравнения чувствительны к масштабу признаков.
x_scaled = (x - min(x)) / (max(x) - min(x))Преобразование
Standardization
Центрирование и масштабирование значений, обычно до среднего значения 0 и стандартного отклонения 1.
Используйте это для моделей, которые сравнивают или объединяют характеристики с разными единицами измерения.
z = (x - mean(x)) / std(x)Преобразование
Categorical encoding
Преобразование категориальных меток в представление, которое может быть обработано алгоритмом.
Выберите кодирование one-hot, порядковое, целевое или обученное, в зависимости от смысла и поведения модели.
Кодирование канала в формате one-hot в значения channel_web, channel_store и channel_partner.Качество данных
Data validation
Автоматические или ручные проверки, которые подтверждают, что данные соответствуют ожидаемым правилам и ограничениям.
Запустите его на границах конвейера для раннего выявления ухудшения качества.
Утвердите, что order_id является уникальным, amount >= 0, и валюта разрешена.