Инженерия генеративного ИИ
Изучите тонкую настройку, продолженное предварительное обучение, обучение с инструкциями, SFT, PEFT, LoRA, QLoRA, данные о предпочтениях, RLHF, DPO, GRPO, оценку регрессии, права на данные, конфиденциальность, версионирование и откат.
54 терминов
Обзор тонкой настройки.
Fine-tuning
Продолжение обучения предварительно обученной модели для адаптации ее поведения к более узкой задаче, области, формату или предпочтениям.
Используйте это, когда только запросы и извлечение не могут обеспечить достаточно стабильное поведение, полученное в результате обучения.
Тонкая настройка базовой модели и сравнение ее с исходной версией после обучения на проверенных ответах службы поддержки.Обзор тонкой настройки.
Downstream task
Конкретная задача, выполняемая с использованием предварительно обученной модели.
Определите это точно перед сбором данных для тонкой настройки и выбором метрик.
Последующая задача: классификация запросов поддержки на корейском языке в соответствии с утвержденной таксономией маршрутизации.Обзор тонкой настройки.
Domain adaptation
Адаптация модели к языку, шаблонам или распределениям, найденным в определенной области или среде.
Используйте это, когда целевая область существенно отличается от общего распределения данных для обучения модели.
Адаптировать модель к документам технического обслуживания полупроводников и оценивать ее на невидимых руководствах.Обзор тонкой настройки.
Continued pre-training
Предварительное обучение базовой модели на дополнительных неразмеченных или самообучаемых данных в определенной области перед специализированной настройкой для конкретной задачи.
Используйте это для адаптации языка к широкой области, когда небольшого набора примеров инструкций недостаточно.
Продолжите предварительное обучение на лицензированном корпусе данных, а затем выполните тонкую настройку с использованием контролируемых инструкций.Обзор тонкой настройки.
Instruction tuning
Тонкая настройка инструкций и желаемых ответов, чтобы модель более надежно выполняла различные задачи, связанные с обработкой естественного языка.
Используйте разнообразные, проверенные инструкции, которые отражают целевую аудиторию, задачи, языки и ограничения безопасности.
Обучайте на примерах инструкций и ответов, охватывающих суммирование, извлечение, отказ и уточнение.Обзор тонкой настройки.
Post-training
Обучение проводится после предварительного обучения для улучшения следования инструкциям, предпочтений, безопасности или поведения при развертывании.
Используйте это как общий термин для контролируемой настройки, оптимизации предпочтений, моделирования вознаграждений и связанных работ по выравниванию.
Описывайте каждый этап постобработки, его данные, цель, контрольную точку и этап оценки.Обзор тонкой настройки.
Supervised fine-tuning (SFT)
Тонкая настройка, которая обучается на входных данных, сопоставленных с проверенными целевыми ответами или метками.
Используйте это для обучения формату ответа, процедуре выполнения задачи, тону и примерам желаемого поведения.
Пример SFT: пользовательский запрос, одобренный ответ ассистента, метаданные и запись прав доступа к данным.Обзор тонкой настройки.
Model alignment
Усилия по улучшению поведения модели в соответствии с определенными намерениями человека, политиками, предпочтениями и требованиями безопасности.
Используйте это как основную цель, стоящую за тонкой настройкой, оптимизацией предпочтений, обучением безопасности и оценкой поведения.
Определите цели согласования, недопустимое поведение, сценарии оценки и этапы ручной проверки.Обзор тонкой настройки.
Behavior adaptation
Изменение способа реагирования модели, форматирования вывода, следования инструкциям или обработки неопределенности без предположения о получении ею новых фактических знаний.
Используйте это, когда желаемое изменение касается стабильных шаблонов ответов, а не часто меняющейся информации.
Адаптировать модель для запроса разъяснений, когда отсутствуют необходимые данные для подтверждения.Методы и адаптеры
Full fine-tuning
Тонкая настройка, которая обновляет все или большинство параметров базовой модели.
Используйте это только тогда, когда ожидаемая выгода оправдывает значительные затраты памяти, вычислительных ресурсов, хранилища и оценки.
Сравните полную дообучение с базовым значением PEFT при использовании одного и того же набора данных и набора для оценки.Методы и адаптеры
Parameter-efficient fine-tuning (PEFT)
Семейство методов, которые адаптируют модель, обучая при этом лишь небольшую часть параметров.
Используйте это для уменьшения объема памяти, необходимого для обучения, объема хранилища и размера контрольных точек для каждой задачи.
Обучите отдельный адаптер PEFT для каждой утвержденной области, сохраняя при этом базовые веса неизменными.Методы и адаптеры
Adapter
Небольшой набор дополнительных или измененных параметров, добавленных к базовой модели для конкретной адаптации.
Используйте адаптеры для отделения изменений, специфичных для задачи, от общих базовых весов.
Загружайте адаптер для финансов только для авторизованных финансовых рабочих процессов.Методы и адаптеры
Low-rank adaptation (LoRA)
Метод PEFT, который изучает матрицы обновления низкого ранга для выбранных модулей модели, сохраняя при этом базовые веса неизменными.
Используйте это, когда небольшие состояния, доступные для обучения, и многократно используемые адаптеры соответствуют дизайну развертывания.
Примените LoRA к выбранным проекциям внимания и запишите ранг, альфа, dropout и целевые модули.Методы и адаптеры
QLoRA
Подход к тонкой настройке, который обучает адаптеры LoRA, в то время как базовая модель загружена в квантованном представлении.
Используйте это для уменьшения объема памяти базовой модели при проверке числовой стабильности и качества по сравнению с соответствующей базовой линией.
Загрузите одобренную базовую модель в поддерживаемом формате квантования и обучите только адаптер LoRA.Методы и адаптеры
Quantization
Представление значений модели в форматах с меньшей точностью для снижения требований к памяти, хранилищу или вычислительным ресурсам.
Используйте это, когда поддерживаемый метод и оборудование могут обеспечить приемлемое качество и числовое поведение.
Оцените квантованную базовую модель перед использованием QLoRA и запишите формат, ширину битов, библиотеку и тип данных для вычислений.Методы и адаптеры
LoRA rank
Размерность матриц обновления с низким рангом, используемых адаптером LoRA.
Настройте его как компромисс между производительностью и ресурсами, а не предполагая, что более высокий ранг всегда лучше.
Сравните результаты для 8-й и 16-й позиций с одним и тем же начальным значением, набором данных, количеством шагов и набором для оценки.Методы и адаптеры
LoRA alpha
Конфигурация масштабирования, которая влияет на вклад обновлений LoRA, полученных в процессе обучения.
Запишите это вместе с рангом и деталями реализации, поскольку интерпретация может зависеть от библиотеки.
Сохраните ранг, альфа, dropout, целевые модули и версию библиотеки в манифесте адаптера.Методы и адаптеры
Target modules
Слои или проекции модели, выбранные для получения обновлений адаптера.
Выберите их в соответствии с архитектурой модели, поддержкой методов и измеренным качеством.
Определите поддерживаемые проекции запросов и значений, а затем проверьте количество обучаемых параметров.Методы и адаптеры
Trainable parameters
Подмножество параметров модели, которые оптимизация может изменять.
Сообщать как количество, так и процент, чтобы можно было сравнить полные и параметрически эффективные запуски.
Записывайте количество обучаемых параметров, общее количество параметров, процент и размер контрольной точки адаптера.Методы и адаптеры
Adapter merge
Объединение обновлений адаптеров, полученных в процессе обучения, с базовыми весами или другим представлением адаптера для развертывания.
Используйте это только после проверки совместимости, лицензии, точности, качества и возможности отката.
Оцените объединенный артефакт по сравнению с конфигурацией базовой модели плюс адаптер перед выпуском.Форматы обучения
Prompt-completion pair
Пример обучения, содержащий входной запрос и желаемое завершение.
Используйте согласованную схему и убедитесь, что результаты демонстрируют ожидаемое поведение.
{"prompt":"Classify the request","completion":"billing_refund"}Форматы обучения
Instruction-response pair
Пример контролируемого обучения, связывающий инструкцию или разговор на естественном языке с ответом, который модель должна научиться генерировать.
Используйте это для SFT и сохраняйте метаданные исходного кода, авторские права, рецензирования и качества вместе с каждым примером.
{"messages":[{"role":"user","content":"배송 취소 방법을 알려줘"},{"role":"assistant","content":"주문 내역에서 취소할 주문을 선택하세요."}]}Форматы обучения
Chat template
Правило форматирования, которое преобразует системные, пользовательские, сообщения помощника и сообщения инструментов в последовательность токенов, ожидаемую моделью чата.
Используйте токенизатор и шаблон, совместимые с выбранной базовой моделью, как во время обучения, так и во время вывода.
Отображать один и тот же утвержденный шаблон чата при предварительной обработке набора данных и при выводе результатов.Форматы обучения
System, user, and assistant roles
Метки ролей сообщений, которые различают инструкции, предназначенные для длительного использования, ввод пользователя и ответы модели в данных для обучения разговорному ИИ.
Используйте только роли и порядок, поддерживаемые шаблоном чата выбранной модели.
Система: политика и роль; пользователь: запрос; ассистент: проверенный целевой ответ.Форматы обучения
Response masking
Исключение выбранных входных токенов из расчета потерь, чтобы обучение было сосредоточено на целевых токенах ответа.
Используйте это, когда задача должна научить модель генерировать выходные данные, не рассматривая каждый токен запроса как целевой.
Маскируйте системные и пользовательские токены от потери и проверяйте границы помощника после токенизации.Форматы обучения
Sequence packing
Объединение нескольких коротких примеров в более длинные последовательности для обучения, чтобы уменьшить заполнение и повысить эффективность использования.
Используйте это только тогда, когда границы примеров, поведение внимания, метки и конечные символы остаются правильными.
Объедините короткие диалоги в пределах лимита контекста и проверьте, что один пример не просачивается в следующий.Форматы обучения
Fine-tuning context length
Максимальная длина токена, используемая для каждой последовательности обучения после форматирования и токенизации.
Установите его в соответствии с базовой моделью, целевой задачей, бюджетом памяти, риском усечения и шаблоном запросов в производственной среде.
Измерьте распределение длины токенов и выберите предел, который сохраняет важный контент, не добавляя при этом избыточную "подкладку".Форматы обучения
Preference dataset
Набор данных, в котором регистрируются сравнительные оценки или награды за альтернативные результаты работы модели.
Используйте это для моделирования вознаграждений или оптимизации предпочтений с документированными правилами разметки и проверками качества рецензентов.
Сохраните запрос, кандидаты ответов, результат предпочтения, политику обоснования, группу рецензентов и статус согласия.Форматы обучения
Chosen and rejected response pair
Два кандидата ответа, помеченные для указания того, какой из них лучше соответствует определенным критериям предпочтения.
Используйте пары, которые существенно отличаются, и применяйте согласованные критерии, а не только личные предпочтения.
Принято: ссылается на предоставленную политику и указывает на неопределенность. Отклонено: придумывает не подкрепленный фактами срок.Выравнивание предпочтений
Human feedback
Структурированные оценки, метки, демонстрации или исправления, предоставленные людьми для управления поведением модели.
Определите квалификацию экспертов, инструкции, порядок действий при разногласиях, конфиденциальность, компенсацию и обеспечение качества.
Используйте проверенных экспертов и разрешайте спорные вопросы, имеющие большое значение, перед обучением.Выравнивание предпочтений
Reinforcement learning from human feedback (RLHF)
Семейство подходов постобучения, которые используют сигналы предпочтений человека и методы обучения с подкреплением для формирования поведения модели.
Используйте это только с четким дизайном вознаграждения, стабильной настройкой обучения, оценкой безопасности и надежным управлением данными.
Обучите и проверьте сигнал вознаграждения, оптимизируйте политику консервативно и сравните с базовым уровнем SFT.Выравнивание предпочтений
Reward model
Модель, которая оценивает возможные результаты в соответствии с изученными предпочтениями или сигналами качества.
Используйте это, когда процесс обучения или выбора требует масштабируемой аппроксимации задокументированных предпочтений.
Оцените точность модели вознаграждения, калибровку, поведение подгрупп и возможность эксплуатации в сопоставлениях с тестовыми данными.Выравнивание предпочтений
Preference optimization
Обучение после предварительной настройки, которое обновляет поведение модели с использованием сравнительных предпочтений, вознаграждений или связанных сигналов обратной связи.
Используйте это как общую категорию, включающую подходы, основанные на прямых предпочтениях и обучении с подкреплением.
Определите критерии предпочтения, эталонное поведение, метод оптимизации и оценки сохранения данных.Выравнивание предпочтений
Reinforcement learning from AI feedback (RLAIF)
Семейство подходов обучения с подкреплением, которые используют обратную связь, созданную или полученную от систем AI, вместо того, чтобы полагаться только на прямые суждения человека.
Используйте это только с проверенными критериями обратной связи, контролем со стороны человека, проверками на предвзятость и средствами защиты от самовоспроизводящихся ошибок.
Калибруйте обратную связь от AI по сравнению с набором экспертных оценок человека, прежде чем оптимизировать политику.Выравнивание предпочтений
Reinforcement fine-tuning
Тонкая настройка, которая оптимизирует поведение модели на основе сигналов вознаграждения, генерируемых оценщиками, средами, правилами или моделями обратной связи.
Используйте это, когда результаты могут быть надежно оценены, и система обучения может отслеживать "взлом" системы вознаграждений, стабильность и сохранение возможностей.
Оцените проверяемые результаты выполнения задач, оптимизируйте консервативно и сравните с неизменными базовыми значениями и SFT.Выравнивание предпочтений
Direct preference optimization (DPO)
Метод обучения на основе предпочтений, который напрямую использует выбранные и отклоненные ответы для обновления политики относительно эталонного поведения.
Используйте это, когда доступны подходящие пары для оценки предпочтений и совместимая реализация обучения.
Обучите DPO на основе утвержденной контрольной точки SFT и сравните полезность, безопасность и сохранение возможностей.Выравнивание предпочтений
Proximal policy optimization (PPO)
Алгоритм оптимизации политики, который ограничивает размер обновлений при одновременной оптимизации сигнала вознаграждения.
Используйте это в конвейерах обучения с подкреплением, которые могут поддерживать мониторинг вознаграждения, оценки, отката и стабильности.
Отслеживайте вознаграждение, отклонение от базовой модели, длину ответа и показатели безопасности во время PPO.Выравнивание предпочтений
Group relative policy optimization (GRPO)
Метод обучения с подкреплением, который сравнивает награды между несколькими полученными результатами для одного и того же запроса для оценки относительного преимущества.
Используйте это только тогда, когда групповая выборка, качество вознаграждения, стабильность обучения и вычислительные затраты соответствуют задаче.
Генерируйте несколько решений для каждой задачи, оценивайте их с помощью проверенных проверок и оптимизируйте на основе относительных вознаграждений в группе.Оценка и регрессия
Fine-tuning validation loss
Потеря измеряется на примерах тонкой настройки, которые не используются для обновления модели.
Используйте это с метриками задач, безопасности и поведения, поскольку низкий показатель потерь сам по себе не является доказательством лучшего поведения в производственной среде.
Выберите контрольные точки с использованием функции потерь при валидации и фиксированного набора для оценки в производственной среде.Оценка и регрессия
Holdout evaluation
Оценка на примерах, намеренно исключенных из обучения и обратной связи для выбора модели.
Используйте это для получения менее предвзятой оценки производительности на невидимых данных и защитите набор от повторной настройки.
Запустите набор проверочных тестов только после выбора контрольной точки.Оценка и регрессия
Checkpoint selection
Выбор сохраненного состояния обучения для дальнейшего развития на основе предопределенных критериев качества, безопасности, стоимости и регрессии.
Используйте фиксированный набор тестов и избегайте оценки только на основе функции потерь при обучении.
Продвижение контрольной точки, которая проходит тесты на производительность, безопасность, многоязычность, задержку и запоминание.Оценка и регрессия
Base-model comparison
Централизованная оценка, сравнивающая модель, настроенную для конкретной задачи, с базовой моделью, которая не была изменена.
Используйте идентичные подсказки, извлечение, декодирование и наборы данных, чтобы атрибутировать изменения тонкой настройке.
Сообщайте о победах, ничьих, регрессиях, задержках и затратах для базовых и настроенных моделей.Оценка и регрессия
Catastrophic forgetting
Потеря ранее приобретенных возможностей после интенсивного обучения на новых данных или задачах.
Проверьте сохранение общих возможностей, языков, поведения в отношении безопасности и задач, выходящих за рамки области, после настройки.
Запустите базовый набор тестов до и после тонкой настройки и предотвратите ухудшение производительности.Оценка и регрессия
Capability regression
Измеряемое снижение существующих возможностей модели после тонкой настройки или изменений в развертывании.
Определите пороговые значения для регрессии для важных задач до обучения и выпуска.
Неуспешно: прервать выпуск, если точность многоязычной обработки снизится ниже установленного порога.Оценка и регрессия
Safety regression
Снижение количества отказов, нарушений конфиденциальности, предвзятости или вредоносного контента после адаптации.
Проведите целевые оценки уязвимостей и политик для каждой контрольной точки.
Сравните случаи обхода защиты, раскрытия персональных данных PII, предвзятости и нежелательных завершений с базовым значением.Оценка и регрессия
Training-data memorization
Сохранение и возможное воспроизведение конкретных примеров обучения моделью, выходящее за рамки желаемой обобщенности.
Проверьте на необычное воспроизведение фраз, наличие секретов, персональных данных и почти точных результатов перед выпуском.
Проверяет заданные префиксы и блокирует публикацию, если модель воспроизводит конфиденциальную информацию.Оценка и регрессия
Fine-tuning versus RAG
Решение о проектировании, связанное с изменением поведения модели путем обучения и предоставления внешних знаний в момент запроса.
Предпочитайте извлечение для текущих или часто меняющихся фактов и тонкую настройку для стабильного поведения, формата или шаблонов задач, а затем оцените комбинированный подход, если это необходимо.
Тонкая настройка не делает автоматически актуальными часто меняющиеся факты или не предоставляет ссылки на источники.
Используйте RAG для текущих политик и SFT для утвержденной структуры ответа.Права и операции
Fine-tuning data rights
Лицензии, разрешения, договорные условия и другие права, необходимые для использования данных для адаптации модели.
Проверка прав на уровне исходного кода и примера, а также сохранение информации о происхождении, ограничениях и процедурах удаления.
Доступность через API, наличие файла или его владение само по себе не дают права на тонкую настройку.
Запишите источник, правообладателя, лицензию или разрешение, разрешенное использование для обучения, территорию, срок действия и контакт для удаления.Права и операции
Personal data in fine-tuning
Информация в данных адаптации, которая идентифицирует или может быть связана с конкретным лицом.
Минимизируйте, удалите, получите надлежащие разрешения, ограничьте доступ и определите правила хранения и удаления перед обучением.
Заменить имена и идентификаторы счетов на управляемые заполнители и проверить преобразованный набор данных.Права и операции
Model registry
Централизованный каталог метаданных моделей, адаптеров, контрольных точек, оценок, утверждений и развертываний.
Используйте это для отслеживания того, какой артефакт одобрен, развернут, устарел или может быть откачан.
Регистрирует контрольную сумму модели, базовую версию, адаптер, набор данных, результаты оценки, владельца, статус утверждения и этап развертывания.Права и операции
Adapter serving
Использование одной базовой модели с адаптерами, специфичными для задачи или области, которые можно выбирать во время инференса.
Используйте это, когда среда выполнения может изолировать адаптеры, авторизовать выбор, управлять памятью и сохранять совместимость версий.
Перенаправляет одобренные финансовые запросы в адаптер финансов и регистрирует точную версию базовой системы и адаптера.Права и операции
Fine-tuning provider data policy
Условия и ограничения, установленные поставщиком услуг для загружаемых данных обучения, хранения, удаления, доступа к моделям, географической обработки и вторичного использования.
Просмотрите текущий контракт и документацию продукта перед загрузкой любого набора данных и зафиксируйте одобренную конфигурацию.
Политики поставщиков могут меняться; перепроверяйте их перед каждой программой обучения и никогда не предполагайте, что доступ к API дает права на использование данных.
Проверка срока хранения, процесса удаления, настроек использования для обучения, ролей доступа, региона, шифрования и процедуры реагирования на инциденты.Права и операции
Fine-tuned model versioning
Отслеживание точной базовой модели, адаптера или контрольной точки, данных, кода и конфигурации, которые создали настроенную модель.
Используйте неизменяемые идентификаторы, чтобы оценки, инциденты, откаты и аудиты ссылались на один и тот же артефакт.
Version = base model digest + adapter digest + dataset hash + code commit + training config.Права и операции
Fine-tuning rollback
Возврат трафика в ранее одобренную модель или адаптер после обнаружения проблемы.
Подготовьте его перед выпуском с сохранением артефактов, проверками совместимости, элементами управления маршрутизацией и полномочиями принятия решений.
Сохраняйте утвержденную комбинацию базового элемента и адаптера, готовую к развертыванию, и продумайте процедуру отката.Начните с наиболее простого подхода, который надежно соответствует требованию, а затем оценивайте комбинации, если это необходимо.
| Что вам нужно | Подход, который следует учитывать в первую очередь |
|---|---|
| Улучшите формат ответа или тон. | Проектирование запроса или SFT |
| Ответ из текущих или личных документов | RAG with source-grounded retrieval |
| Изучите повторяющееся поведение задач. | Тонкая настройка с использованием репрезентативных примеров. |
| Адаптировать отраслевую терминологию и шаблоны | Продолжение предварительного обучения или тонкая настройка для конкретной области |
| Изучите, как учиться на основе предпочтительных и отклоненных ответов. | DPO или другой проверенный метод оптимизации предпочтений |
Методы требуют разных данных и оптимизируют разные сигналы; они не являются взаимозаменяемыми метками для тонкой настройки.
| Метод | Типичные данные и цель |
|---|---|
| SFT | Инструкции и ответы или примеры с метками; научитесь воспроизводить проведённое целевое поведение. |
| DPO | Пары выбранных/отклоненных ответов; напрямую увеличивают относительную предпочтительность по сравнению с эталонным поведением. |
| GRPO | Несколько сгенерированных результатов и проверенные награды; оптимизация на основе относительных преимуществ группы. |
Предварительная настройка обучает общим закономерностям в больших масштабах и создает базовую модель. Тонкая настройка продолжается от этой модели с использованием более узких данных и целей для адаптации к задаче, формату, области, предпочтениям или поведению безопасности.
Часто меняющиеся или чувствительные к источнику знания обычно подходят для RAG, поскольку документы можно обновлять и указывать на них в момент запроса. Тонкая настройка обычно лучше подходит для стабильного поведения, формата или шаблонов задач. Некоторые системы сочетают оба подхода.
LoRA обучает обновления адаптеров с низким рангом, сохраняя при этом базовые веса неизменными. QLoRA также загружает базовую модель в поддерживаемом квантованном представлении для уменьшения объема памяти. Качество и совместимость должны быть оценены для конкретной конфигурации.
Нет. Обученная модель все равно может устареть и не всегда раскрывает источник сгенерированного утверждения. Используйте извлечение или другое проверенное подключение к данным, когда важна актуальность и ссылки.
Используйте SFT для проверенных целевых ответов, DPO для пар сравнения предпочтений и GRPO для задач с надежными наградами для нескольких выборочных результатов. Выбирайте только после подтверждения требований к данным, цели, оценке, безопасности и вычислительным ресурсам.
Проверка прав доступа, согласия, конфиденциальности, обработки персональных данных, условий предоставления услуг, хранения и удаления, географической обработки, контроля доступа к моделям, использования для дополнительного обучения, шифрования, реагирования на инциденты и текущего контракта.
Официальное руководство по продолжению обучения из предварительно обученной модели с использованием наборов данных, токенизации, аргументов обучения, оценки и контрольных точек.
Официальное концептуальное руководство по конфигурации LoRA, рангу, альфе, целевым модулям и параметрически эффективной адаптации LoRA.
Официальный обзор и примеры методов постобработки, включая SFT, моделирование вознаграждений, DPO и GRPO.
Сначала просмотрите наборы данных, пакеты, эпохи, потери, оптимизацию, обобщение, оборудование и воспроизводимость.
Проверьте, могут ли инструкции, примеры, схемы или цепочки запросов решить задачу, прежде чем приступать к обучению.
Используйте концепции извлечения данных, когда ответы требуют актуальных, конфиденциальных и основанных на источниках знаний.
Свяжите оценку обученной модели с фиксированными наборами данных, бенчмарками, проверкой человеком, регрессионными тестами, задержкой и стоимостью.