Инженерия генеративного ИИ
Понимание обучающих данных, целей, пакетов, эпох, потерь, градиентов, оптимизаторов, скоростей обучения, проверки, переобучения, контрольных точек, распределенного обучения и воспроизводимости.
61 терминов
Основы обучения
Model training
Процесс корректировки параметров модели на основе данных, чтобы модель могла выполнять целевое поведение или задачу.
Используйте этот термин для обозначения всего процесса оптимизации, включая подготовку данных, выполнение обучения, проверку и выбор контрольных точек.
Определите цель обучения, утвержденный набор данных, план проверки, бюджет вычислительных ресурсов и критерии остановки перед запуском.Основы обучения
Pre-training
Обучение в большом масштабе, которое обучает модель общим закономерностям, прежде чем она будет адаптирована к более узкой задаче или области.
Используйте это, когда необходимо различать создание базовой модели и последующую тонкую настройку или выравнивание.
Предварительно обучите базовую модель на авторизованном многоязычном корпусе, а затем оцените охват языка.Основы обучения
Foundation model
Широко предварительно обученная модель, предназначенная для поддержки множества задач и адаптаций.
Используйте это, когда необходимо определить общую модель, на которой впоследствии строятся запросы, извлечение, адаптеры или тонкая настройка.
Запишите семейство, версию, лицензию и предполагаемый путь адаптации базовой модели.Основы обучения
Base model
Конкретная предварительно обученная контрольная точка, используемая в качестве отправной точки для вывода или дополнительной адаптации.
Используйте точный идентификатор модели и версии, чтобы обучение и развертывание можно было воспроизвести.
Базовая модель: идентификатор ID утвержденной модели и неизменяемая контрольная сумма версии.Основы обучения
Model parameter
Числовое значение внутри модели, которое может быть изучено в процессе обучения или зафиксировано выбранным методом.
Используйте это, когда сравниваются общие, замороженные и обучаемые части модели.
Сообщать об общем количестве параметров и о подмножестве, обновленном методом обучения.Основы обучения
Transfer learning
Повторное использование знаний, полученных для одной задачи, в качестве отправной точки для другой связанной задачи или области.
Используйте это, когда адаптируется предварительно обученное представление вместо обучения новой модели с нуля.
Начните с утвержденной языковой модели и адаптируйте ее для классификации намерений.Основы обучения
Training objective
Математическая или поведенческая цель, которую пытается оптимизировать процесс обучения.
Определите это до выбора данных, меток, функций потерь и метрик оценки.
Цель: предсказать следующий токен, минимизируя потери при проверке на одобренном наборе данных.Основы обучения
Supervised learning
Обучение на примерах, которые сопоставляют входные данные с ожидаемыми метками или выходными данными.
Используйте это, когда доступны надежные целевые ответы, классы или значения.
Обучайте на вопросах поддержки, сопоставленных с проверенными метками намерения.Основы обучения
Self-supervised learning
Обучение, которое получает целевые значения прогнозов из самой структуры неразмеченных данных.
Используйте это для масштабного представления или обучения языковых моделей, когда ручная разметка нецелесообразна.
Скрывайте или изменяйте часть каждой последовательности и обучайте модель предсказывать отсутствующий или следующий контент.Данные для обучения
Training dataset
Примеры, используемые для вычисления градиентов и обновления параметров модели.
Создайте его на основе релевантных, лицензированных, репрезентативных и контролируемых по качеству данных.
Не предполагайте, что общедоступные данные автоматически разрешены для обучения модели.
Создайте версионируемый набор данных для обучения с метаданными источника, лицензии, согласия, языка и качества.Данные для обучения
Validation dataset
Набор данных, выделенный для использования во время разработки для сравнения настроек и мониторинга обобщения.
Используйте это для выбора контрольных точек, ранней остановки и принятия решений о гиперпараметрах без обновления весов из примеров.
Оцените потери на валидации на каждой эпохе и сохраняйте лучшую одобренную контрольную точку.Данные для обучения
Test dataset
Отдельный набор данных, используемый для получения окончательной, менее предвзятой оценки после завершения этапов разработки.
Используйте это только после выбора модели и гиперпараметров, чтобы избежать настройки на финальный тестовый набор.
Заблокируйте тестовый набор перед экспериментом и укажите его версию вместе с окончательным результатом.Данные для обучения
Training corpus
Сборник текста, кода, изображений, аудио или других материалов, подготовленный для обучения модели.
Используйте этот термин при обсуждении охвата источников, происхождения, фильтрации и прав при сборе данных.
Источники корпусов документов, даты сбора, исключения, правовые основания и процедуры удаления.Данные для обучения
Training sample or example
Один элемент, представленный конвейеру обучения, такой как помеченная строка, последовательность, изображение, разговор или пара предпочтений.
Используйте это, когда необходимо определить схему, вес выборки, проверки качества и то, что учитывается при определении размера набора данных.
Один пример содержит входные данные, целевые данные, идентификатор ID источника, метаданные прав доступа и статус качества.Данные для обучения
Label
Класс, значение, диапазон, ответ или оценка, связанные с примером контролируемого обучения.
Определите метки с документированной инструкцией и измерьте степень согласия экспертов для неоднозначных задач.
Пометьте каждый запрос одной утвержденной целью и зафиксируйте неопределенные случаи для рассмотрения.Данные для обучения
Data augmentation
Создание дополнительных примеров для обучения путем применения контролируемых преобразований, которые сохраняют предполагаемую метку или поведение.
Используйте это для повышения охвата при проверке того, что преобразования остаются реалистичными и не изменяют целевое значение.
Создайте варианты перефразировки, а затем проверьте, сохраняет ли каждый вариант первоначальный смысл.Данные для обучения
Data contamination
Наличие примеров оценки или близких вариантов в обучающих данных, что приводит к завышению оценки обобщения при оценке.
Проверьте точное и семантическое совпадение перед обучением и изолируйте наборы данных для защищенной оценки.
Сравните хеши и близкие по значению представления в виде векторов в наборах данных для обучения и оценки.Данные для обучения
Training tokenization
Преобразование необработанного контента в единицы ввода модели и идентификаторы, используемые во время обучения.
Обеспечьте совместимость выбора токенизатора, словаря, нормализации и специальных токенов с моделью и конвейером обслуживания.
Запишите версию токенизатора, размер словаря, специальные токены, усечение и максимальную длину последовательности.Данные для обучения
Data split
Разделение примеров на обучающие, проверочные и тестовые подмножества.
Разделение по пользователю, времени, документу или группе, когда случайные строки могут привести к появлению почти дубликатов в подмножествах.
Разделение по учетной записи клиента, чтобы разговоры от одного клиента не отображались как в обучающих, так и в тестовых данных.Данные для обучения
Data deduplication
Обнаружение и удаление или группировка идентичных и почти дублирующихся обучающих примеров.
Используйте это для уменьшения запоминания, дисбаланса исходных данных, неэффективных вычислений и загрязнения обучающего и тестового наборов.
Удаляйте дубликаты точных хешей, нормализованного текста и сегментов документов с высокой степенью сходства перед разделением.Данные для обучения
Synthetic training data
Примеры, сгенерированные или преобразованные программным обеспечением или моделями, а не собранные непосредственно из реальных событий.
Используйте это для обработки редких случаев, форматов или симуляций, сохраняющих конфиденциальность, а затем проверяйте реалистичность и отсутствие предвзятости.
Синтетические данные могут воспроизводить исходные искажения, ошибки или защищенные выражения и все равно требуют проверки происхождения и качества.
Генерируйте диалоги для обработки крайних случаев, помечайте их как синтетические и проверяйте их перед обучением.Данные для обучения
Confidential training data
Записи о клиентах, коммерческая тайна, внутренние документы, учетные данные или другая конфиденциальная информация, рассматриваемая для обучения.
Исключите его по умолчанию, если нет явного разрешения, документированной цели, строгого контроля доступа и утвержденного плана хранения и удаления.
Никогда не размещайте учетные данные, секреты клиентов или коммерческую тайну в сервисе обучения без одобрения и проверки политики провайдера.
Блокируйте учетные данные и коммерческую тайну во время импорта и направляйте сомнительные записи на рассмотрение авторизованному эксперту.Данные для обучения
Data leakage
Непреднамеренное использование информации во время обучения, которая не была бы доступна в реальной среде прогнозирования.
Проверьте признаки, метки, временные метки и предварительную обработку, чтобы предотвратить получение нереалистично высоких оценок.
Удалить поля, связанные с разрешением, перед обучением модели, которая предсказывает повышение приоритета заявки при ее регистрации.Цикл обучения
Batch
Группа примеров обучения, обрабатываемых вместе в одной итерации прямого и обратного распространения.
Используйте пакеты для балансировки вычислительной эффективности, использования памяти и стабильности градиента.
Объедините каждую партию с последовательностями, дополненными нулями, и маской внимания.Цикл обучения
Mini-batch
Меньший подмножество обучающих данных, используемое для одного вычисления градиента, а не для обработки всего набора данных одновременно.
Используйте это в качестве стандартной практической единицы для стохастической оптимизации на больших наборах данных.
Перемешивает обучающий набор и формирует мини-пакеты с похожей длиной последовательности.Цикл обучения
Batch size
Количество примеров или последовательностей, включенных в пакет.
Настройте его в соответствии с длиной последовательности, памятью, поведением оптимизации и эффективным размером пакета.
Начните с размера пакета 4 для каждого устройства и используйте накопление градиентов только в том случае, если это необходимо из-за ограничений памяти.Цикл обучения
Training step / iteration
Один цикл обновления оптимизатора, который может потребовать один или несколько микропакетов.
Используйте это для ведения журнала, планирования, сохранения контрольных точек и сравнения продолжительности выполнения.
Записывайте значение функции потерь и скорость обучения каждые 20 шагов оптимизатора.Цикл обучения
Epoch
Один полный проход по обучающему набору данных с использованием настроенного процесса выборки.
Используйте количество эпох с кривыми валидации, а не считайте, что больше эпох автоматически лучше.
Для 1000 примеров и размера пакета 50, одна эпоха содержит примерно 20 пакетов.Цикл обучения
Forward pass
Вычисление, которое передает входные данные модели по сети для создания прогнозов и значения потерь.
Используйте это, когда необходимо объяснить первую часть каждой итерации обучения до вычисления градиентов.
Запустите прямой проход по идентификаторам токенов и сравните предсказанные токены с целевыми метками.Цикл обучения
Loss function
Функция, которая измеряет, насколько прогнозы модели отличаются от целевой функции обучения.
Выберите его, чтобы он соответствовал задаче, формату метки, балансу классов и желаемому поведению.
Отдельно отслеживайте потери обучения на уровне токенов и метрики выполнения задач на уровне последовательностей.Цикл обучения
Backpropagation
Процесс распространения производных потерь обратно через модель для вычисления градиентов.
Используйте это для объяснения того, как сигнал ошибки достигает обучаемых параметров.
Распространяйте обратную связь по масштабированной функции потерь, обрезайте градиенты, а затем обновляйте оптимизатор.Цикл обучения
Gradient
Набор производных, указывающих, как изменения параметров повлияют на потерю.
Следите за нормами градиентов, чтобы обнаружить нестабильность, исчезающие обновления или взрывные градиенты.
Уведомляйте, если норма градиента становится неопределенной до шага оптимизатора.Цикл обучения
Optimizer
Алгоритм, который обновляет обучаемые параметры с использованием градиентов и настроенного состояния.
Выберите и настройте его вместе со скоростью обучения, коэффициентом затухания весов и настройками точности.
Используйте AdamW с явно указанной скоростью обучения, уменьшением веса и версией оптимизатора.Цикл обучения
Stochastic gradient descent (SGD)
Метод оптимизации, который обновляет параметры на основе градиентов, оцененных на отдельных примерах или мини-пакетах.
Используйте это как фундаментальную концепцию оптимизатора и сравните варианты использования импульса или планирования для данной задачи.
Запустите SGD с записью скорости обучения, момента, планировщика и конфигурации пакета.Цикл обучения
AdamW
Адаптивный оптимизатор, который отключает затухание весов от обновления параметров на основе градиента.
Используйте это, если это поддерживается рецептом обучения, и записывайте все гиперпараметры оптимизатора для воспроизводимости.
Запишите скорость обучения AdamW, значения beta, epsilon, коэффициент затухания весов и версию реализации.Цикл обучения
Learning rate
Гиперпараметр, контролирующий масштаб обновления параметров во время оптимизации.
Настройте его осторожно, потому что слишком высокие значения могут дестабилизировать обучение, а слишком низкие - замедлить прогресс.
Не существует универсально правильной скорости обучения; подходящие значения зависят от модели, метода, данных, размера пакета и оптимизатора.
Сравните вероятности обучения для различных кандидатов, используя одно и то же разделение данных, начальное значение и расписание оценки.Цикл обучения
Learning-rate scheduler
Правило, которое изменяет скорость обучения на протяжении этапов обучения.
Используйте это для ускорения обучения, уменьшения скорости обновлений или реагирования на плато в соответствии с планом эксперимента.
Разогрев до запланированной доли шагов, а затем использование экспоненциального затухания до конечной скорости.Цикл обучения
Warmup
Начальный период, в течение которого скорость обучения постепенно увеличивается, начиная с небольшого значения.
Используйте это для уменьшения нестабильных обновлений в начале обучения, особенно при оптимизации больших моделей.
Запишите этапы разогрева как часть воспроизводимой конфигурации обучения.Обобщение и качество
Training loss
Потеря рассчитывается на пакетах, используемых для обновления параметров модели.
Используйте это для мониторинга прогресса оптимизации, но не рассматривайте низкое значение как доказательство обобщения.
Отобразите сглаженную функцию потерь обучения по шагам оптимизатора и изучите резкие скачки или бесконечные значения.Обобщение и качество
Validation loss
Потеря измеряется на примерах валидации, которые не используются для обновления параметров.
Сравните его с потерями при обучении, чтобы обнаружить переобучение и выбрать подходящие контрольные точки.
Сохраняйте контрольную точку с лучшим утвержденным поведением при валидации, а не обязательно последнюю эпоху.Обобщение и качество
Convergence
Состояние, в котором обновления обучения приводят к последовательно уменьшению или стабилизации улучшения.
Оценивайте модели по кривым обучения и валидации вместе с метриками задачи, а не только по кривой потерь обучения.
Рассматривайте выполнение как завершенное только после стабилизации метрик проверки на контрольных точках.Обобщение и качество
Generalization
Способность обученной модели хорошо работать на релевантных примерах, на которых она не обучалась.
Измерьте это на репрезентативных тестовых и реальных примерах.
Сравните производительность для новых пользователей, периодов времени, языков и сложных граничных случаев.Обобщение и качество
Overfitting
Состояние, при котором модель хорошо соответствует обучающим данным, но показывает худшие результаты на невидимых данных.
Обратите внимание на увеличение разрыва между поведением обучения и валидации и реагируйте данными, регуляризацией или ранней остановкой.
Остановите процесс обучения, когда потеря валидации ухудшается, в то время как потеря обучения продолжает уменьшаться.Обобщение и качество
Underfitting
Состояние, при котором модель не может усвоить достаточно структуры для достижения хороших результатов, даже на обучающих данных.
Проверьте емкость модели, качество признаков или данных, параметры оптимизации и продолжительность обучения.
Исследуйте недообучение, когда как метрики обучения, так и метрики валидации остаются низкими.Обобщение и качество
Regularization
Методы, которые ограничивают или формируют обучение для уменьшения переобучения и улучшения поведения на невидимых данных.
Выберите регуляризацию вместе с емкостью модели, объемом данных, расширением и ранней остановкой.
Сравните поведение проверки с задокументированными настройками скорости затухания весов и отсечения.Обобщение и качество
Weight decay
Параметр регуляризации, который препятствует чрезмерному увеличению значений параметров в процессе оптимизации.
Настройте его с использованием оптимизатора и проверьте, какие параметры исключены из уменьшения.
Запишите коэффициент затухания весов и группы параметров, к которым он применяется.Обобщение и качество
Dropout
Метод регуляризации, который случайным образом отключает выбранные активации во время обучения.
Используйте это только в том случае, если архитектура и метод обучения это поддерживают, и отключите поведение обучения во время оценки.
Установите и запишите поддерживаемую скорость отсечения (dropout rate), а затем сравните результаты валидации.Обобщение и качество
Gradient clipping
Ограничение величины или нормы градиента перед обновлением оптимизатора для уменьшения нестабильных шагов.
Используйте это, когда возможны скачки градиентов, и отслеживайте, как часто происходит обрезка.
Ограничьте глобальную норму градиента установленным порогом и регистрируйте этапы обрезки.Обобщение и качество
Early stopping
Прекращение процесса обучения, когда контролируемая метрика валидации больше не улучшается в соответствии с определенными правилами.
Используйте терпение и пороговые значения минимального улучшения, чтобы избежать реакции на один шумный результат оценки.
Остановите проверку после трех проверок валидации без существенного улучшения и восстановите лучшую контрольную точку.Обобщение и качество
Training checkpoint
Сохраненное состояние обучения, содержащее параметры модели и, часто, оптимизатор, планировщик и информацию о прогрессе.
Используйте контрольные точки для восстановления, сравнения, оценки и контролируемого продвижения.
Сохраняйте версионированные контрольные точки с идентификаторами набора данных, кода, токенизатора и конфигурации.Вычисления и воспроизводимость
AI accelerator (GPU, TPU, NPU)
Специализированное вычислительное оборудование, используемое для ускорения операций с тензорами для обучения и работы моделей.
Выберите оборудование в соответствии с поддержкой фреймворка, форматами чисел, памятью, взаимосвязью, доступностью и стоимостью.
Запишите тип ускорителя, его количество, объем памяти, время работы, драйвер и предполагаемую стоимость обучения.Вычисления и воспроизводимость
Video memory (VRAM)
Память, используемая на ускорителе для весов модели, состояний оптимизатора, активаций, градиентов и пакетов.
Оцените это до обучения и настройте размер пакета, точность, разбиение или сохранение контрольных точек, если это необходимо.
Измерьте максимальный объем выделенной VRAM для самой длинной поддерживаемой последовательности и оптимальной конфигурации пакетов.Вычисления и воспроизводимость
FP16 and BF16
Форматы чисел с пониженной точностью обычно используются для уменьшения объема памяти, необходимого для обучения, и увеличения производительности ускорителя.
Используйте только форматы, поддерживаемые оборудованием и фреймворком, с проверками конечных значений и качества.
Сравните стабильность обучения BF16 или FP16 и качество выходных данных с базовым значением.Вычисления и воспроизводимость
Gradient accumulation
Объединение градиентов из нескольких микропакетов перед одним обновлением оптимизатора.
Используйте это для достижения более эффективного размера пакета при ограниченном объеме памяти устройства.
Эффективный размер пакета = размер пакета на устройство × количество шагов накопления × количество устройств для параллельной обработки данных.Вычисления и воспроизводимость
Mixed-precision training
Обучение, которое использует более одной числовой точности для повышения скорости или эффективности использования памяти при сохранении необходимой стабильности.
Используйте поддерживаемые рабочие процессы FP16 или BF16 с мониторингом потерь и конечных значений.
Включите BF16 на совместимом оборудовании и проверьте соответствие точности базовому значению.Вычисления и воспроизводимость
Gradient checkpointing
Техника экономии памяти, которая перевычисляет выбранные активации во время обратного распространения вместо хранения всех из них.
Используйте это, когда ограничением является память, а дополнительные вычисления допустимы.
Включите градиентное сохранение для работы с более длинными последовательностями, а затем измерьте замедление обучения.Вычисления и воспроизводимость
Distributed training
Обучение, которое координирует вычисления или состояние модели на нескольких ускорителях или машинах.
Используйте это, когда одно устройство не может соответствовать требованиям к размеру модели или времени обучения.
Запишите стратегию параллельной обработки данных, размер мира, политику шардинга, конфигурацию сети и процедуру восстановления.Вычисления и воспроизводимость
Data parallelism
Репликация модели на рабочих узлах, которые обрабатывают разные пакеты данных и синхронизируют обновления.
Используйте это, когда модель помещается на каждом рабочем узле, и требуется большая пропускная способность пакетов.
Запишите количество рабочих процессов, глобальный размер пакета, синхронизацию градиентов и поведение восстановления после сбоев.Вычисления и воспроизводимость
Model parallelism
Разделение вычислений или параметров модели на несколько устройств, потому что одно устройство не может эффективно хранить или обрабатывать всю модель.
Используйте тензоры, конвейеры или фрагментированные подходы в зависимости от архитектуры и поддержки фреймворка.
Описывайте стратегию разделения, стоимость обмена данными, формат контрольной точки и совместимость с обслуживанием.Вычисления и воспроизводимость
Random seed
Значение, используемое для инициализации операций псевдослучайности, таких как перемешивание, выборка, отсечение и инициализация параметров.
Запишите это для воспроизводимости, осознавая, что распределенное оборудование и некоторые ядра могут оставаться недетерминированными.
Сравните важные результаты для нескольких зафиксированных начальных значений вместо того, чтобы полагаться на один успешный запуск.Вычисления и воспроизводимость
Training reproducibility
Способность повторить запуск достаточно близко, чтобы объяснить и сравнить его результаты.
Данные о версии, код, модель, токенизатор, зависимости, начальные значения, конфигурация и сведения об оборудовании.
Сохраните манифест запуска, содержащий ID коммита, хеш набора данных, seed, lock-файл пакета и URI контрольной точки.Эти единицы описывают различные части процесса обучения и не должны использоваться взаимозаменяемо.
| Термин | Meaning |
|---|---|
| Пакет | Группа, обрабатываемая вместе в одной итерации прямого/обратного распространения. |
| Мини-пакет | Практический, более компактный набор данных, используемый вместо всего набора данных. |
| Шаг обучения | Одно обновление оптимизатора, возможно, после нескольких накопленных микропакетов. |
| Эпоха | Один проход по обучающему набору; 1000 примеров с размером пакета 50 примерно соответствуют 20 пакетам на эпоху. |
Данные для обучения обновляют параметры, данные для проверки направляют выбор при разработке, а данные для тестирования оценивают окончательную производительность. Объединение одних и тех же или почти дублирующихся примеров в этих наборах может искажать результаты и скрывать плохую обобщаемость.
Эпоха обрабатывает обучающий набор данных один раз. Без накопления градиента приблизительное количество пакетов на эпоху составляет размер набора данных, деленный на размер пакета. С накоплением и несколькими рабочими процессами различайте размер пакета на устройство, эффективный размер пакета и глобальный размер пакета.
Это распространенный признак переобучения. Проанализируйте перекрытие и качество данных, а затем рассмотрите возможность ранней остановки, регуляризации, аугментации, емкости модели и нескольких метрик задач, а не только одной кривой потерь.
Нет. Небольшие модели и эксперименты могут работать на процессорах, в то время как более крупные нейронные модели обычно получают выгоду от использования графических процессоров, TPU или NPU. Выбор зависит от поддержки фреймворка, размера модели, длины последовательности, времени и бюджета.
Открытый доступ сам по себе не дает права на обучение. Проверьте авторские права, лицензию, контракт, политику конфиденциальности, согласие, конфиденциальность, правила сбора данных и условия поставщика, а также сохраните информацию о происхождении и процедурах удаления.
Официальный глоссарий для обучения, наборов для проверки и тестирования, пакетов, эпох, потерь, переобучения и других основ машинного обучения.
Официальное руководство, показывающее токенизацию, аргументы обучения, наборы данных, эпохи, размер пакета, скорость обучения, оценку и создание контрольных точек.
Официальное описание цикла обучения, охватывающего пакетную обработку, прямой проход, потерю, обратное распространение, градиенты и обновления параметров.
Проверяйте веса модели, базовые модели, вывод, токены и контекстные окна.
Свяжите работу по обучению с наборами данных для оценки, бенчмарками, критериями оценки, регрессионными тестами и операционными метриками.
Продолжите от общих концепций обучения к SFT, LoRA, оптимизации предпочтений, оценке и развертыванию.