Инженерия генеративного ИИ
Изучите, как роли, инструкции, контекст, примеры, схемы вывода, многоэтапные рабочие процессы и продвинутые шаблоны рассуждений формируют надежные ответы от AI.
18 терминов
Структура
Role
Описание точки зрения или роли, которую модель должна принять.
Используйте это для определения соответствующей экспертизы, аудитории и тона.
Выступайте в качестве технического редактора на корейском языке для начинающих разработчиков.Структура
Instruction
Прямое утверждение о задаче, которую должна выполнить модель.
Используйте явный глагол и четкий результат, чтобы уменьшить неоднозначность.
Сведите отчет к пяти пунктам, готовым для принятия решений.Структура
Context
Информация о фоне, необходимая модели для правильной интерпретации задачи.
Предоставьте аудиторию, цели, ограничения, исходные материалы и определения, которые влияют на ответ.
Контекст: пользователи – новички, и функция будет запущена на следующей неделе.Структура
Constraint
Ограничение на контент, длину, стиль, инструменты или разрешенные действия.
Используйте это для обеспечения видимости и тестируемости критериев приемки.
Используйте только предоставленную политику, придерживайтесь лимита в 150 слов и не пытайтесь угадать отсутствующие даты.Структура
Delimiter
Маркер, разделяющий инструкции, примеры и исходные данные.
Используйте теги, заголовки или блоки с разделителями, похожие на XML, когда подсказка содержит несколько разделов.
Summarize only the text inside <source>...</source>.Примеры.
Zero-shot prompting
Запрос задачи без предоставления примера решения.
Начните здесь с общих задач, которые модель уже хорошо понимает.
Классифицируйте каждый отзыв как положительный, нейтральный или отрицательный.Примеры.
Few-shot prompting
Предоставление небольшого набора примеров ввода-вывода перед фактической задачей.
Используйте это для обучения определенной политике меток, тону, пограничным случаям или шаблону вывода.
Входные данные: доставка была быстрой. Выходные данные: логистика - положительно. Теперь классифицируйте: коробка прибыла поврежденной.Повторное использование
Prompt template
Многоразовый запрос с заполнителями, заполняемыми переменными во время выполнения.
Используйте это для повторяющихся рабочих процессов, требующих согласованных инструкций.
Summarize {{document}} for {{audience}} using {{format}}.Вывод.
Structured output
Ответ, имеющий предсказуемую, машиночитаемую структуру.
Используйте это, когда другая программа будет анализировать или проверять результат.
Верните объект с title, summary, risk_level и source_ids.Вывод.
JSON Schema
Формальное описание разрешенных полей, типов и обязательных значений в JSON.
Используйте поддерживаемые ограничения схемы для уменьшения ошибок разбора в автоматизированных процессах.
Требуется, чтобы поле status было представлено в виде перечисления, а поле due_date было датой в формате ISO, допускающей значения NULL.Рабочий процесс
Task decomposition
Разбиение сложного запроса на более мелкие, проверяемые подзадачи.
Используйте это, когда исследования, преобразования, проверки и окончательная синтез требуют различных этапов.
Сначала определите требования, затем выявите конфликты, затем составьте и проверьте ответ.Рабочий процесс
Prompt chaining
Передача выходных данных одного этапа модели на следующий этап.
Используйте это, когда промежуточные результаты должны быть просмотрены, преобразованы или утверждены.
Ошибки могут распространяться на несколько этапов, поэтому проверяйте важные промежуточные результаты.
Extract claims -> retrieve evidence -> verify each claim -> write the final brief.Продвинутые модели рассуждений
Step-back prompting
Начните с более общего принципа, определения или системы принятия решений, прежде чем отвечать на конкретный вопрос.
Используйте это, когда конкретный случай легко неправильно интерпретировать, если сначала не определить управляющие концепции или ограничения.
Более общий шаг все равно может быть неверным или нерелевантным, поэтому проверяйте его по авторитетным источникам.
Сначала определите принципы политики, регулирующие право на возврат средств. Затем примените их к данному случаю и укажите соответствующие пункты.Продвинутые модели рассуждений
Least-to-most prompting
Решение более простых зависимых подзадач в первую очередь и использование их проверенных результатов для решения более сложной общей задачи.
Используйте это, когда последующие выводы зависят от нескольких предварительных расчетов, фактов или решений.
Ранняя ошибка может распространиться на последующие этапы; проверяйте предварительные результаты перед повторным использованием.
1. Извлеките даты контракта. 2. Рассчитайте срок уведомления. 3. Сравните сроки с пунктом о расторжении. 4. Представьте заключение с подтверждающими доказательствами.Продвинутые модели рассуждений
Self-consistency
Генерация нескольких независимых вариантов решения и выбор ответа, подтвержденного согласием или отдельным правилом проверки.
Используйте это выборочно для сложных задач, где можно сравнить несколько допустимых путей решения, и дополнительные затраты оправданы.
Соглашение не доказывает правильность, коррелированные ошибки могут совпадать, а несколько выборок увеличивают задержку и стоимость.
Генерируйте пять независимых итоговых значений, сравнивайте окончательные значения и принимайте только одно, если исходные строки и детерминированные вычисления это подтверждают.Продвинутые модели рассуждений
Critique-and-revise
Создание черновика, его оценка по четким критериям и доказательствам, а также исправление выявленных недостатков.
Используйте это, когда выходные данные имеют проверяемые критерии, такие как полнота, поддержка источником, формат, тон или соответствие политике.
Модель может упускать собственные ошибки; результаты, имеющие большое значение, все равно требуют независимой проверки или оценки человеком.
Составьте ответ. Оцените его соответствие необходимым фактам, ссылкам, запрещенным утверждениям и объему. Вносите изменения только в проблемные разделы, а затем предоставьте окончательный ответ.Продвинутые модели рассуждений
Plan-and-execute
Разделение планирования задач от выполнения, чтобы зависимости, инструменты, контрольные точки и критерии завершения определялись до начала работы.
Используйте это для многоэтапной работы, где важен порядок, разрешения, ограничения ресурсов или промежуточная проверка.
Рассматривайте план как подлежащий пересмотру; не продолжайте слепо, если новые доказательства опровергают его.
Верните краткий план действий с зависимостями и этапами утверждения. Выполняйте каждый утвержденный шаг, записывайте доказательства и перепланируйте, если предположение не подтверждается.Продвинутые модели рассуждений
Verifier pattern
Использование отдельного этапа проверки для сравнения предполагаемого ответа с правилами, доказательствами, схемами или детерминированными инструментами перед его принятием.
Используйте это, когда важные утверждения, расчеты, цитаты, структурированные выходные данные или аргументы инструментов могут быть проверены независимо.
Верификатор, который, если он использует одни и те же отсутствующие данные или ошибочные предположения, может повторить ошибку генератора.
Генератор: создает сводку счета с идентификаторами строк-источников. Верификатор: пересчитывает итоговые значения, проверяет схему и отклоняет неподдерживаемые утверждения.Выбирайте шаблон только тогда, когда структура задачи и доказательства оценки оправдывают дополнительные шаги, токены, задержку и сложность.
| Необходимость. | Шаблон для рассмотрения |
|---|---|
| Определите основные принципы, прежде чем применять их к конкретному случаю. | Подсказка "шаг назад" |
| Решите предварительные подзадачи в порядке зависимостей. | Подход "от простого к сложному" при создании запросов. |
| Сравните несколько кандидатных решений, когда дополнительное выборкообразование оправдано. | Самосогласованность плюс независимая проверка. |
| Улучшите черновик в соответствии с четкими критериями оценки. | Критика и доработка |
| Координируйте зависимости, инструменты и контрольные точки утверждения. | Планирование и выполнение |
| Отклонять недостоверные утверждения, недействительные схемы или неправильные расчеты. | Шаблон верификатора |
Нет. Предпочтительнее краткий ответ, проверяемые промежуточные результаты, указанные доказательства, предположения, расчеты и результаты проверки. Некоторые модели рассуждения выполняют внутренние вычисления автоматически, и длинное видимое обоснование не является доказательством того, что ответ верен.
Нет. Их эффект варьируется в зависимости от модели, задачи, запроса, метода выборки и метода оценки. Они также могут добавлять задержку, стоимость токенов, коррелированные ошибки и распространение сбоев. Сравните их с простой базовой линией на репрезентативных примерах.
Критика и доработка улучшают черновик путем рецензирования и редактирования. Верификатор действует как контрольная точка, которая проверяет кандидата на соответствие доказательствам, правилам, схемам или детерминированным инструментам и может отклонить его без переписывания.
Официальное руководство по структурированным запросам, рассуждениям, планированию, проверке, рабочим процессам, управляемым агентами, и специфическому для модели поведению.
Первичное исследование, представляющее собой подход к обеспечению согласованности путем выбора различных путей рассуждения и выбора наиболее согласованного ответа.
Расширьте запрос в контролируемый контекст, содержащий доказательства, историю, состояние и многократно используемые материалы.
Проектируйте запросы, которые объединяют текст с изображениями, документами, аудио или видео.
Сравните различные варианты запросов с повторяемыми случаями, метриками и проверками регрессии.
Версионирование, утверждение, развертывание, наблюдение, откат и вывод из эксплуатации производственных запросов.
Примените переписывание запросов, ответы только на основе доказательств, отказ от ответа, ссылки, синтез и обработку конфликтов источников.