Анализ данных
Понимание признаков, целевых переменных, методов обучения, разделения данных, конвейеров, проблем обучения, перекрестной проверки, метрик и рисков утечки данных.
12 терминов
Данные модели
Feature
Переменная, используемая моделью для прогнозирования или выявления закономерностей.
Выберите признаки, доступные во время прогнозирования и релевантные для задачи.
Функции: tenure_days, order_count_90d, support_ticket_count.Данные модели
Target
Результат или метка, которую модель с учителем должна предсказывать.
Определите это с четким временным окном и бизнес-значением.
Цель: определять, уйдет ли клиент в течение следующих 30 дней.Методы обучения
Supervised learning
Обучение отображению от входных данных к известным целевым значениям с использованием размеченных примеров.
Используйте это для классификации или регрессии, когда доступны исторические метки.
Обучите классификатор с использованием прошлых транзакций, помеченных как мошеннические или не мошеннические.Методы обучения
Unsupervised learning
Поиск структуры в данных без предоставленной целевой метки.
Используйте это для кластеризации, снижения размерности или исследования аномалий.
Кластеризуйте магазины по структуре продаж и поведению клиентов.Валидация
Train-test split
Разделение данных, используемых для обучения модели, от данных, зарезервированных для окончательной оценки.
Используйте разделение с учетом времени или группы, когда случайное разделение может привести к утечке информации.
Обучайте на данных с января по октябрь, проверяйте на данных ноября и тестируйте на данных декабря.Рабочий процесс
Preprocessing pipeline
Упорядоченная, многократно используемая последовательность преобразований и шагов обучения модели.
Используйте предварительную обработку только для обучающих данных и применяйте те же шаги во время прогнозирования.
impute -> standardize -> one-hot encode -> fit modelМетоды обучения
Model
Изученное математическое или вычислительное представление, используемое для прогнозирования или принятия решений.
Сравните простой базовый вариант с более сложными кандидатами в соответствии с одним и тем же протоколом оценки.
Базовая модель: логистическая регрессия; кандидат: градиентный бустинг.Валидация
Overfitting
Когда модель запоминает шум, специфичный для обучения, и плохо работает на новых данных.
Обнаруживайте это с помощью оценки на отложенном наборе данных и уменьшайте его с помощью более простых моделей, регуляризации или более репрезентативных данных.
Точность обучения 99%, точность проверки 71% указывает на переобучение.Валидация
Underfitting
Когда модель слишком ограничена, чтобы улавливать важные закономерности в данных.
Проверьте, являются ли производительность обучения и валидации плохой.
Добавьте информативные функции или более подходящую модель, если обе ошибки остаются высокими.Валидация
Cross-validation
Многократно разделение данных на обучающие и проверочные наборы для оценки производительности модели.
Используйте соответствующий разделитель для баланса классов, групп или порядка по времени.
Запустите кросс-валидацию с 5-кратной стратифицированной выборкой для задачи классификации с несбалансированными классами.Валидация
Evaluation metric
Числовая мера, используемая для оценки качества прогнозов.
Выберите метрики в соответствии со стоимостью ошибок и балансом классов, а не только удобством.
Отслеживайте точность и полноту, когда ложные срабатывания и ложные отрицания имеют разную стоимость.Риски
Data leakage
Когда обучение использует информацию, которая не будет доступна во время реального предсказания.
Проводите аудит, анализируйте временные метки, предварительную обработку и окна агрегации, прежде чем доверять результатам.
Утечки могут создавать впечатление отличных результатов при автономной оценке, в то время как фактическая производительность в рабочей среде может быть неудовлетворительной.
Не используйте окончательный статус возврата средств для прогнозирования того, будет ли заказ возвращен.